Pular para o conteúdo principal
O Toqan Router captura o uso de tokens de cada solicitação de LLM e calcula o custo automaticamente. Nenhuma configuração é necessária para a maioria dos provedores.

​
Como as contagens de tokens são capturadas

As contagens de tokens chegam das respostas dos provedores por meio de atributos do OpenTelemetry:
  • gen_ai.usage.input_tokens (tokens de entrada)
  • gen_ai.usage.output_tokens (tokens de saída)
  • gen_ai.usage.total_tokens (soma, calculada pelo Toqan Router)
Detalhamentos são capturados quando o provedor os informa. Eles seguem o formato de resposta do provedor (por exemplo, OpenAI, Anthropic), e não um padrão único:
  • input_tokens_details.cached_tokens (tokens lidos do cache de prompt)
  • input_tokens_details.cache_creation_tokens (tokens gravados no cache de prompt), com uma divisão exclusiva da Anthropic em cache_creation_5m_tokens e cache_creation_1h_tokens por TTL do cache
  • output_tokens_details.reasoning_tokens (tokens de raciocínio/thinking)
  • Tokens de entrada e saída de áudio
Quando um provedor não retorna dados de uso, o span é armazenado, mas os atributos de custo podem ser zero ou estar ausentes.

​
Como o custo é calculado

O custo é calculado por span no servidor. O AI Gateway multiplica as contagens de tokens pela tarifa por token do modelo:
As tarifas são armazenadas por modelo no catálogo de modelos e expressas em USD por 1M de tokens.

​
Categorias de custo

​
Faixas de preço

Alguns provedores cobram tarifas diferentes de acordo com o tamanho do contexto. O Toqan Router aplica a tarifa correta automaticamente: A faixa ativa é registrada como orq.billing.pricing_tier em cada span.

​
Flag de faturável

orq.billing.billable é false para respostas em cache e para avaliações automatizadas executadas pela plataforma. Elas não contam para o faturamento de uso do workspace.

​
Consolidação de custos

O custo é consolidado ao longo do modelo de dados:

​
Onde ver os detalhamentos de custo

  • Span Attributes: referência completa dos atributos orq.billing.*
  • Billing and Usage: faturamento da plataforma (assentos, armazenamento, capacidade do plano), separado do rastreamento de custos de LLM
  • Budgets: defina limites de custo e de tokens por escopo