Pular para o conteúdo principal
As Routing Rules (regras de roteamento) são condições baseadas em CEL que interceptam solicitações ao AI Gateway e as redirecionam para outro modelo quando há correspondência. As regras são avaliadas por ordem de prioridade, e a primeira regra correspondente prevalece. Nenhuma outra regra é avaliada após uma correspondência.

​
Casos de uso

As regras de roteamento são mais úteis quando o tráfego precisa ser redirecionado ou distribuído no nível do gateway com base em atributos da solicitação, sem modificar nenhuma aplicação chamadora.
Intercepta as solicitações do bot de suporte destinadas a um modelo e as redireciona silenciosamente para um mais barato, de modo que a aplicação chamadora não precisa de alterações para aproveitar a economia.
Duas regras com a mesma prioridade dividem o tráfego de documentos por complexidade: documentos simples vão para um modelo mais leve e os complexos vão para um modelo mais capaz, tudo com base nos metadados anexados a cada solicitação.
Identifica solicitações que incluem um arquivo anexado e as roteia por uma lista ordenada de modelos que oferecem suporte nativo à entrada de arquivos, para que a solicitação seja bem-sucedida mesmo que o primeiro modelo esteja indisponível.
Uma regra genérica de baixa prioridade que redireciona o tráfego para um conjunto alternativo de modelos sempre que os provedores principais estão indisponíveis, mantendo as solicitações fluindo sem intervenção manual.
Distribui as solicitações em modo round-robin entre vários endpoints que servem o mesmo modelo, equilibrando a carga de inferência entre provedores sem exigir alterações no lado do chamador.

​
Como as regras de roteamento funcionam

Quando uma solicitação chega ao AI Gateway, o AI Gateway avalia todas as regras de roteamento ativas em ordem crescente de prioridade. A primeira regra cuja expressão CEL corresponde à solicitação determina o modelo de destino. Se nenhuma regra corresponder, é usado o modelo do payload original da solicitação. Exemplo: uma solicitação chega com model: "openai/gpt-5.6-sol". Uma regra de roteamento com a condição model.contains("gpt-5.6-sol") e o destino openai/gpt-5.4-mini é a regra correspondente de maior prioridade. O AI Gateway redireciona a solicitação para gpt-5.4-mini, independentemente do que o chamador especificou. Nas expressões CEL, model se refere ao valor do modelo no payload da solicitação.

Veja também: balanceamento de carga no nível da solicitação

Para distribuir o tráfego entre provedores no nível da solicitação sem regras para toda a organização, use o parâmetro load_balancer diretamente nas suas chamadas à API.

​
Visibilidade

  • Visível apenas para administradores do workspace.

​
Criar uma regra de roteamento

Na lista Routing Rules, clique em Routing Rule. O formulário é aberto em página inteira, com um controle para voltar e uma confirmação de alterações não salvas. Ele tem cinco seções, e o botão de envio mostra Create Rule, ou Save Changes depois que a regra existe.

​
General

​
Load Balancer

Opcional. Define o modelo ou os modelos de destino para onde as solicitações correspondentes serão roteadas. Deixe esta seção vazia para criar uma regra que serve apenas para aplicar um plugin ou um cache ao tráfego correspondente, sem nenhum roteamento de modelo. Load balancing strategy define como os destinos são usados:
  • Fallback: roteia para o modelo principal. Por padrão, tenta o próximo modelo quando ele falha com status 408, 429, 500, 502, 503, 504 ou 529. Depois que a regra tem um modelo de destino, Fallback status codes aparece e substitui essa lista; deixe-o vazio para usar o padrão. O campo da API é models_config.fallback_on_codes, que aceita até 20 inteiros únicos de 400 a 599. Esse campo está disponível apenas no modo Fallback.
  • Latency: roteia para o modelo com a menor latência observada recentemente. Consulte Roteamento baseado em latência para ver o algoritmo de seleção completo.
  • Weighted: divide o tráfego entre os modelos por pesos percentuais.
  • Round Robin: alterna uniformemente entre todos os modelos configurados.
Escolha Latency quando minimizar o tempo de resposta for mais importante do que uma divisão fixa do tráfego. Escolha Weighted ou Round Robin quando a própria divisão for o objetivo, como em controle de custos ou testes A/B. Clique em Models para adicionar um modelo de destino. O menu agrupa os modelos por provedor. Cada destino tem um controle para removê-lo. Fallback também adiciona a cada destino uma alça de arrastar para reordená-lo, e Weighted adiciona um controle deslizante Traffic weight para definir a parcela de cada modelo, cuja soma deve ser 100%.
Quando uma solicitação corresponde a esta regra de roteamento, a configuração do Load Balancer substitui completamente os valores model, load_balancer, fallbacks e fallback_on_codes da própria solicitação; eles nunca são mesclados. Um parâmetro load_balancer no nível da solicitação não tem efeito quando se aplica uma regra de roteamento correspondente com modelos configurados.

​
Cache

Opcional. Dá à regra seu próprio cache de respostas para as solicitações correspondentes. Solicitações com correspondência exata reutilizam uma resposta em cache em vez de acionar um modelo. Deixar esta seção desativada não adiciona um cache próprio, portanto as solicitações correspondentes continuam usando a configuração cache no nível da solicitação. Ative Enable cache para ligar o cache e, em seguida, escolha Time to live para controlar por quanto tempo as respostas correspondentes permanecem em cache, de 5 minutos a 3 dias. O padrão é 1 hora. Quando uma regra tem o cache ativado, uma solicitação correspondente usa a configuração de cache da regra em vez do parâmetro cache da própria solicitação; os dois não são mesclados. Consulte Cache de respostas de LLM para entender como o cache funciona.

​
Plugins

Opcional. Vincule plugins que são executados no tráfego correspondente a esta regra. Os plugins podem transformar a solicitação, a resposta ou os traces armazenados. Clique em Plugin para vincular um dos seguintes:

​
Conditions

Defina quando esta regra de roteamento deve ser aplicada a uma solicitação. O Rule Builder cria a expressão CEL exibida em modo somente leitura em CEL Expression Preview; deixá-la vazia aplica a regra a todas as solicitações. Selecione Add rule para escolher um tipo de condição: Cada Add rule cria um grupo de condições com o título Rule 1 · N conditions. Dentro de um grupo, selecione Condition para adicionar outra condição e para remover uma. Arraste uma condição pela alça para reordená-la. As condições de um grupo são combinadas com and por padrão; selecione o botão AND entre duas condições para mudar o grupo para or. Delete remove o grupo inteiro. Os grupos de regras são combinados com or por padrão; selecione o botão entre dois grupos para mudá-los para and.

​
Editar e excluir uma regra de roteamento

Clique no nome de uma regra na lista Routing Rules para abri-la no mesmo formulário. Uma regra existente exibe Delete Rule no rodapé do formulário, ao lado de Save Changes. A exclusão exige confirmação. O menu de ações das linhas da lista oferece Edit, Enable ou Disable e Delete.