Pular para o conteúdo principal

AI Gateway

Encaminhe suas chamadas de LLM pelo AI Gateway alterando apenas a URL base. Sem dependência de fornecedor: execute sempre o melhor modelo pelo menor custo para o seu caso de uso.

Observabilidade

Instrumente seu código com OpenTelemetry para capturar traces, logs e métricas de cada chamada de LLM, etapa de agente e uso de ferramenta.

AI Gateway

Visão geral

O SmolAgents é um framework leve de agentes em Python criado pela Hugging Face. Usando OpenAIServerModel com um api_base personalizado, você pode encaminhar todas as chamadas de LLM pelo AI Gateway do Toqan Router e ter acesso a mais de 500 modelos, rastreamento de custos e recursos de confiabilidade.

Pré-requisitos

  • Uma conta no Toqan Router e uma chave de API
  • Python 3.9 ou superior
Para configurar sua chave de API, consulte Chaves de API e endpoints.

Instalação

Configuração

Python
api_base: https://router.toqan.ai/eu/v3/router

Exemplo básico de agente

Python

Seleção de modelo

Com o Toqan Router, você pode usar qualquer modelo compatível de mais de 30 provedores:
Python

Observabilidade

Visão geral

O SmolAgents usa a biblioteca openinference-instrumentation-smolagents para instrumentar automaticamente as execuções de agentes e exportar traces via OpenTelemetry.

Pré-requisitos

  • Uma conta no Toqan Router e uma chave de API
  • Python 3.9 ou superior

Instalação

Configurando a observabilidade do Toqan Router

Configure o tracer provider e instrumente o SmolAgents antes de criar qualquer agente:
SmolagentsInstrumentor deve ser chamado antes de qualquer agente ser instanciado. Após a instrumentação, todas as execuções de CodeAgent e ToolCallingAgent são rastreadas automaticamente.

Exemplo básico