Pular para o conteúdo principal

AI Gateway

Roteie suas chamadas de LLM pelo AI Gateway alterando apenas o endpoint. Sem dependência de fornecedor: rode sempre no melhor modelo, com o menor custo para o seu caso de uso.

Observabilidade

Instrumente seu código com OpenTelemetry para capturar traces, logs e métricas de cada chamada de LLM, etapa de agente e uso de ferramenta.

AI Gateway

Visão geral

Use o Azure AI Inference SDK para rotear todas as chamadas de modelo pelo AI Gateway do Toqan Router. Aponte o ChatCompletionsClient para o endpoint do Toqan Router para acessar mais de 500 modelos de mais de 30 provedores — OpenAI, Anthropic, Google e outros — sem alterar a lógica do seu agente.

Principais benefícios

Observabilidade completa

Acompanhe cada etapa do agente, uso de ferramenta e chamada de LLM com traces e analytics detalhados

Confiabilidade integrada

Fallbacks, novas tentativas e balanceamento de carga automáticos para resiliência em produção

Otimização de custos

Rastreamento de custos em tempo real e gestão de gastos em todas as suas operações de IA

Acesso a múltiplos provedores

Acesse mais de 500 LLMs e mais de 30 provedores por meio de uma única integração unificada

Pré-requisitos

  • Uma conta do Toqan Router e uma chave de API
  • Python 3.9 ou superior
Para configurar sua chave de API, consulte Chaves de API e endpoints.

Instalação

Configuração

Configure o ChatCompletionsClient para apontar para o AI Gateway do Toqan Router:
Python
endpoint: https://router.toqan.ai/eu/v3/router

Exemplo básico

Python

Agente com ferramentas de função

O ChatCompletionsClient oferece suporte a chamadas de ferramentas em múltiplos turnos. O loop do agente é executado até que nenhuma outra chamada de ferramenta seja retornada:
Python

Seleção de modelo

Troque de modelo alterando o parâmetro model. Todos os mais de 500 modelos estão disponíveis pelo mesmo cliente:
Python

Observabilidade

Visão geral

Instrumente sua aplicação Azure AI Agents com OpenTelemetry para enviar traces ao Toqan Router. O pacote azure-core-tracing-opentelemetry se conecta ao mecanismo de tracing distribuído do Azure SDK, capturando automaticamente spans de cada chamada de agente, operação de thread e invocação de LLM.

Pré-requisitos

  • Uma conta do Toqan Router e uma chave de API
  • Projeto do Azure AI Foundry com um agente implantado
  • Python 3.9+
  • AZURE_AI_PROJECT_ENDPOINT — o endpoint do seu projeto do Azure AI Foundry
  • AZURE_AI_MODEL_DEPLOYMENT_NAME — o nome do deployment do modelo no seu projeto do Foundry

Instalar dependências

Configuração

Python

Exemplo básico

Python

Ver traces

Veja seus traces no AI Studio, na aba Traces.
Acesse o seu AI Studio para ver analytics e traces em tempo real.