Pular para o conteúdo principal

AI Gateway

Roteie suas chamadas de LLM pelo AI Gateway alterando apenas a URL base. Sem dependência de fornecedor: rode sempre no melhor modelo, com o menor custo para o seu caso de uso.

Observabilidade

Instrumente seu código com OpenTelemetry para capturar traces, logs e métricas de cada chamada de LLM, etapa de agente e uso de ferramenta.

AI Gateway

Visão geral

O Agno é um framework Python para criar agentes de IA prontos para produção, com fluxos de trabalho estruturados, integração de ferramentas e orquestração multiagente. Ao conectar o Agno ao AI Gateway do Toqan Router, você tem acesso a mais de 500 modelos para seus agentes com uma única alteração de configuração.

Principais benefícios

O AI Gateway do Toqan Router aprimora suas aplicações Agno com:

Observabilidade completa

Acompanhe cada interação do agente, uso de ferramenta e chamada de modelo com traces detalhados

Confiabilidade integrada

Fallbacks, novas tentativas e balanceamento de carga automáticos para resiliência em produção

Otimização de custos

Rastreamento de custos em tempo real e gestão de gastos em todas as suas operações de IA

Acesso a múltiplos provedores

Acesse mais de 500 LLMs e mais de 30 provedores por meio de uma única integração unificada

Pré-requisitos

Antes de integrar o Agno ao Toqan Router, verifique se você tem:
  • Uma conta do Toqan Router e uma chave de API
  • Python 3.10 ou superior
Para configurar sua chave de API, consulte Chaves de API e endpoints.

Instalação

Configuração

Configure o Agno para usar o AI Gateway do Toqan Router via OpenAILike com uma base_url personalizada:
Python
base_url: https://router.toqan.ai/eu/v3/router

Exemplo básico de agente

Python

Agente com ferramentas

Adicione ferramentas ao seu agente para tarefas do mundo real:
Python

Agente com ferramentas personalizadas

Defina suas próprias funções Python como ferramentas:
Python

Equipe multiagente

Orquestre vários agentes especializados:
Python

Seleção de modelo

Com o Toqan Router, você pode usar qualquer modelo suportado de mais de 30 provedores:
Python

Observabilidade

Instalação

Configurar a observabilidade do Toqan Router

Configure o tracer provider e instrumente o Agno antes de criar qualquer agente:
A configuração do OTEL e a chamada AgnoInstrumentor().instrument() devem acontecer antes da instanciação de qualquer agente.

Exemplo básico