Pular para o conteúdo principal

AI Gateway

Roteie suas chamadas de LLM pelo AI Gateway alterando apenas a base URL. Sem dependência de fornecedor: use sempre o melhor modelo pelo menor custo para o seu caso de uso.

Observabilidade

Instrumente seu código com OpenTelemetry para capturar traces, logs e métricas de cada chamada de LLM, etapa de agente e uso de ferramenta.

AI Gateway

Visão geral

O Mastra é um framework TypeScript para criar aplicações com IA usando pipelines, agentes e fluxos de trabalho. Ao conectar o Mastra ao AI Gateway do Toqan Router, você transforma aplicações de IA experimentais em sistemas prontos para produção com recursos de nível empresarial.

Principais benefícios

O AI Gateway do Toqan Router aprimora suas aplicações Mastra com:

Observabilidade completa

Acompanhe cada etapa de agente, uso de ferramenta e interação com traces e análises detalhados

Confiabilidade integrada

Fallbacks automáticos, novas tentativas e balanceamento de carga para resiliência em produção

Otimização de custos

Acompanhamento de custos em tempo real e gestão de gastos em todas as suas operações de IA

Acesso a múltiplos provedores

Acesse mais de 500 LLMs e mais de 30 provedores por meio de uma integração única e unificada

Pré-requisitos

Antes de integrar o Mastra ao Toqan Router, certifique-se de ter:
  • Uma conta no Toqan Router e uma chave de API
  • Node.js 22.13 ou superior
  • Suporte a TypeScript
  • O Mastra instalado no seu projeto
Para configurar sua chave de API, consulte Chaves de API e endpoints.

Instalação

Instale o Mastra:

Configuração

Configure o Mastra para usar o AI Gateway do Toqan Router com uma configuração de modelo compatível com OpenAI:
TypeScript
url: https://router.toqan.ai/eu/v3/router

Exemplo básico de agente

Veja um exemplo completo de criação e execução de um agente Mastra por meio do Toqan Router:
TypeScript

Seleção de modelo

Com o Toqan Router, você pode usar qualquer modelo compatível de mais de 30 provedores:
TypeScript

Agente com ferramentas

Defina ferramentas com createTool e anexe-as a um agente por meio do campo tools:
TypeScript

Observabilidade

Primeiros passos

Integre o Mastra à observabilidade do Toqan Router para obter insights completos sobre execução de pipelines, desempenho de agentes, orquestração de fluxos de trabalho e confiabilidade do sistema usando OpenTelemetry.

Pré-requisitos

Antes de começar, certifique-se de ter:
  • Uma conta no Toqan Router e uma chave de API
  • Node.js 22.13 ou superior e suporte a TypeScript
  • O Mastra instalado no seu projeto
  • Chaves de API dos seus provedores de LLM e serviços externos

Instalar dependências

Configurar o Toqan Router

Configure suas variáveis de ambiente para se conectar ao coletor OpenTelemetry do Toqan Router: Unix/Linux/macOS:
Windows (PowerShell):
Usando um arquivo .env:

Instrumentação personalizada

O Mastra oferece integração nativa com OpenTelemetry para observabilidade abrangente. Crie um arquivo instrumentation.mjs no seu projeto Mastra:
TypeScript
Carregue-o ao iniciar a aplicação:
Habilite a telemetria na inicialização do Mastra:
TypeScript
Registre todos os agentes no campo agents do construtor do Mastra. Agentes não registrados não emitem traces, porque o OtelBridge só enxerga os agentes passados no momento da construção.
Todos os pipelines e chamadas de agentes do Mastra serão instrumentados e exportados para o Toqan Router pelo exporter OTLP.

Visualizar traces

Visualize seus traces no AI Studio, na aba Traces.
Acesse seu AI Studio para ver análises e traces em tempo real.