Níveis de serviço

Um nível de serviço é a classe de processamento em que um provedor executa uma solicitação. O mesmo modelo pode ser atendido à frente do tráfego padrão, em capacidade ociosa com desconto ou na fila padrão, e um provedor que vende mais de uma classe a expõe como service_tier. O AI Gateway repassa o valor e informa o nível que atendeu à solicitação. Casos de uso

Execute trabalhos sensíveis à latência à frente do tráfego padrão com fast.
Transfira trabalhos em segundo plano para capacidade ociosa com desconto com flex.
Registre o nível que atendeu a cada solicitação, já que a cobrança segue esse nível.

Início rápido

Defina service_tier no corpo da solicitação. O AI Gateway aceita seis valores e envia a solicitação ao provedor nesse nível, quando o modelo o oferece.

curl -X POST https://router.toqan.ai/eu/v3/router/responses \
  -H "Authorization: Bearer $TOQAN_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "openai/gpt-5.4-mini",
    "input": "Summarize the report.",
    "service_tier": "flex"
  }'

import OpenAI from "openai";

const client = new OpenAI({
  apiKey: process.env.TOQAN_API_KEY,
  baseURL: "https://router.toqan.ai/eu/v3/router",
});

const response = await client.responses.create({
  model: "openai/gpt-5.4-mini",
  input: "Summarize the report.",
  service_tier: "flex",
});

console.log(response.service_tier);

from openai import OpenAI
import os

client = OpenAI(
    api_key=os.environ.get("TOQAN_API_KEY"),
    base_url="https://router.toqan.ai/eu/v3/router",
)

response = client.responses.create(
    model="openai/gpt-5.4-mini",
    input="Summarize the report.",
    service_tier="flex",
)

print(response.service_tier)

service_tier funciona na Responses API e em Chat Completions.

Valores aceitos

Valor	Efeito
`flex`	Capacidade ociosa do provedor, cobrada abaixo da tarifa padrão
`fast`	Processamento premium de baixa latência, cobrado acima da tarifa padrão
`priority`	Alias retrocompatível de `fast`
`auto`	Processamento padrão
`default`	Processamento padrão
`scale`	Processamento padrão

Qualquer outro valor é rejeitado antes da chamada ao provedor, nos dois endpoints:

{
  "error": {
    "message": "Invalid value for 'ServiceTier': must be one of [auto, default, flex, fast, scale, or priority].",
    "code": "invalid_request_error",
    "param": "ServiceTier"
  }
}

Disponibilidade dos níveis

Um modelo oferece um nível apenas quando os preços dele declaram esse nível, portanto o conjunto varia de modelo para modelo e muda à medida que os provedores revisam suas ofertas. Um nível aparece como uma variante de preço no modelo, no catálogo de modelos e em List Models. Consulte o service_tier retornado em vez de presumir que o nível foi respeitado; um modelo que não oferece o nível solicitado não faz a solicitação falhar: ela é executada no nível padrão e informa default.

Como consultar o nível que atendeu à solicitação

Toda resposta inclui service_tier, indicando o nível que atendeu à solicitação:

{
  "service_tier": "priority"
}

fast é informado como priority, e auto, scale e default são informados como default. Uma solicitação que não define nenhum nível é informada como default.

Toqan Router

Visão geral

APIs

MCP Portal

Roteamento

Segurança e privacidade

Recursos dos modelos

Ferramentas de servidor

Cenários comuns

Configuração de provedores

Início rápido

Valores aceitos

Disponibilidade dos níveis

Como consultar o nível que atendeu à solicitação

​Início rápido

​Valores aceitos

​Disponibilidade dos níveis

​Como consultar o nível que atendeu à solicitação

Início rápido

Valores aceitos

Disponibilidade dos níveis

Como consultar o nível que atendeu à solicitação