AI Gateway
Roteie suas chamadas de LLM pelo AI Gateway alterando apenas o endpoint. Sem dependência de fornecedor: rode sempre no melhor modelo, com o menor custo para o seu caso de uso.
Observabilidade
Instrumente seu código com OpenTelemetry para capturar traces, logs e métricas de cada chamada de LLM, etapa de agente e uso de ferramenta.
AI Gateway
Visão geral
Use o Azure AI Inference SDK para rotear todas as chamadas de modelo pelo AI Gateway do Toqan Router. Aponte oChatCompletionsClient para o endpoint do Toqan Router para acessar mais de 500 modelos de mais de 30 provedores — OpenAI, Anthropic, Google e outros — sem alterar a lógica do seu agente.
Principais benefícios
Observabilidade completa
Acompanhe cada etapa do agente, uso de ferramenta e chamada de LLM com traces e analytics detalhados
Confiabilidade integrada
Fallbacks, novas tentativas e balanceamento de carga automáticos para resiliência em produção
Otimização de custos
Rastreamento de custos em tempo real e gestão de gastos em todas as suas operações de IA
Acesso a múltiplos provedores
Acesse mais de 500 LLMs e mais de 30 provedores por meio de uma única integração unificada
Pré-requisitos
- Uma conta do Toqan Router e uma chave de API
- Python 3.9 ou superior
Para configurar sua chave de API, consulte Chaves de API e endpoints.
Instalação
Configuração
Configure oChatCompletionsClient para apontar para o AI Gateway do Toqan Router:
Python
endpoint: https://router.toqan.ai/eu/v3/router
Exemplo básico
Python
Agente com ferramentas de função
OChatCompletionsClient oferece suporte a chamadas de ferramentas em múltiplos turnos. O loop do agente é executado até que nenhuma outra chamada de ferramenta seja retornada:
Python
Seleção de modelo
Troque de modelo alterando o parâmetromodel. Todos os mais de 500 modelos estão disponíveis pelo mesmo cliente:
Python
Observabilidade
Visão geral
Instrumente sua aplicação Azure AI Agents com OpenTelemetry para enviar traces ao Toqan Router. O pacoteazure-core-tracing-opentelemetry se conecta ao mecanismo de tracing distribuído do Azure SDK, capturando automaticamente spans de cada chamada de agente, operação de thread e invocação de LLM.
Pré-requisitos
- Uma conta do Toqan Router e uma chave de API
- Projeto do Azure AI Foundry com um agente implantado
- Python 3.9+
AZURE_AI_PROJECT_ENDPOINT— o endpoint do seu projeto do Azure AI FoundryAZURE_AI_MODEL_DEPLOYMENT_NAME— o nome do deployment do modelo no seu projeto do Foundry
Instalar dependências
Configuração
Python
Exemplo básico
Python
Ver traces
Veja seus traces no AI Studio, na aba Traces.Acesse o seu AI Studio para ver analytics e traces em tempo real.

