Pular para o conteúdo principal
Consulte URLs e autenticação HTTP e a referência da API para os formatos completos de solicitação e resposta. Casos de uso
  • Reordenar os resultados de uma busca inicial para que os documentos mais relevantes apareçam primeiro.
  • Melhorar a qualidade das respostas de RAG pontuando cada documento diretamente em relação à consulta.
  • Verificar a entrada do usuário ou a saída gerada em busca de conteúdo nocivo antes de exibi-la.

Rerank

Visão geral

O AI Gateway expõe POST /rerank na base URL da API compatível com a OpenAI (https://router.toqan.ai/eu/v3/router). Envie uma query e uma lista de documents e receba os documentos ordenados por relevância em relação à consulta. O reranking reordena os resultados de uma recuperação inicial (por exemplo, uma busca vetorial ou por palavras-chave) com um modelo cross-encoder, um modelo que lê a consulta e cada documento em conjunto. Isso é mais lento, porém mais preciso do que comparar apenas embeddings. A solicitação exige três campos: query, documents e model. Envie no máximo 1,000 documentos em uma única solicitação.

Início rápido

Consulte Modelos compatíveis para ver os modelos de rerank disponíveis pelo gateway.

Resposta

Cada entrada do array results contém: Os resultados são ordenados por relevance_score em ordem decrescente, de modo que o documento mais relevante vem primeiro. Passe top_n para limitar o número de resultados retornados; o padrão é o tamanho total de documents. Passe return_documents: true para incluir o texto original do documento em cada resultado. A busca em Knowledge Base já oferece reranking: o endpoint search-knowledge-base aceita um objeto rerank_config e retorna um rerank_score junto com o search_score para cada chunk recuperado. Campos de rerank_config:
  • model: o modelo de rerank a ser usado
  • top_k: número de resultados principais a retornar após o reranking; o padrão é o top_k da Knowledge Base
  • threshold: retorna apenas documentos com pontuação de relevância acima desse valor; o padrão é 0
Onde o reranking é executado:
  • Dentro de uma Knowledge Base: passe rerank_config quando a recuperação permanecer dentro do gateway.
  • Diretamente via POST /rerank: chame o endpoint quando os candidatos iniciais vierem de um armazenamento externo, por exemplo, um banco de dados vetorial de terceiros, e apenas a ordenação final deva ocorrer no gateway.

Moderations

Visão geral

O AI Gateway expõe POST /moderations na base URL da API compatível com a OpenAI (https://router.toqan.ai/eu/v3/router). Envie um texto e receba classificações de segurança: para cada entrada, a resposta informa se ela foi flagged e, por categoria, um veredito booleano em categories e uma pontuação de confiança em category_scores. A solicitação exige input; o padrão de model é openai/omni-moderation-latest. Outros modelos disponíveis incluem mistral/mistral-moderation-2603.

Início rápido

Resposta

Cada entrada do array results corresponde a uma entrada e contém: As categorias incluem hate, harassment, illicit, self-harm, sexual, violence e suas subcategorias, como hate/threatening e self-harm/intent. Use flagged ou as pontuações de cada categoria para decidir o que a aplicação faz, por exemplo, bloquear saídas acima de um limite de pontuação de violence.
Os nomes e as pontuações das categorias variam conforme o modelo. Os modelos compatíveis com a OpenAI retornam o conjunto de 13 categorias acima. Os modelos da Mistral (mistral/mistral-moderation-*) retornam um conjunto próprio: sexual, hate_and_discrimination, violence_and_threats, dangerous_and_criminal_content, selfharm, health, financial, law, pii.

Moderations vs. Guardrails

Moderations é um endpoint de pontuação: ele classifica textos e retorna pontuações. Ele não bloqueia nada, e o chamador decide o que fazer com o resultado. Os Guardrails são a camada de aplicação: evaluators do tipo LLM-as-a-Judge ou Python associados a Guardrail Rules que bloqueiam automaticamente solicitações e respostas não conformes antes que cheguem ao chamador. Use moderations quando a própria aplicação inspecionar ou agir com base nas pontuações, e guardrails quando o gateway precisar aplicar a política sem código na aplicação.