- Reordenar os resultados de uma busca inicial para que os documentos mais relevantes apareçam primeiro.
- Melhorar a qualidade das respostas de RAG pontuando cada documento diretamente em relação à consulta.
- Verificar a entrada do usuário ou a saída gerada em busca de conteúdo nocivo antes de exibi-la.
Rerank
Visão geral
O AI Gateway expõePOST /rerank na base URL da API compatível com a OpenAI (https://router.toqan.ai/eu/v3/router). Envie uma query e uma lista de documents e receba os documentos ordenados por relevância em relação à consulta. O reranking reordena os resultados de uma recuperação inicial (por exemplo, uma busca vetorial ou por palavras-chave) com um modelo cross-encoder, um modelo que lê a consulta e cada documento em conjunto. Isso é mais lento, porém mais preciso do que comparar apenas embeddings.
A solicitação exige três campos: query, documents e model. Envie no máximo 1,000 documentos em uma única solicitação.
Início rápido
Resposta
Cada entrada do arrayresults contém:
Os resultados são ordenados por
relevance_score em ordem decrescente, de modo que o documento mais relevante vem primeiro. Passe top_n para limitar o número de resultados retornados; o padrão é o tamanho total de documents. Passe return_documents: true para incluir o texto original do documento em cada resultado.
Rerank e busca em Knowledge Base
A busca em Knowledge Base já oferece reranking: o endpointsearch-knowledge-base aceita um objeto rerank_config e retorna um rerank_score junto com o search_score para cada chunk recuperado.
Campos de rerank_config:
model: o modelo de rerank a ser usadotop_k: número de resultados principais a retornar após o reranking; o padrão é otop_kda Knowledge Basethreshold: retorna apenas documentos com pontuação de relevância acima desse valor; o padrão é0
- Dentro de uma Knowledge Base: passe
rerank_configquando a recuperação permanecer dentro do gateway. - Diretamente via
POST /rerank: chame o endpoint quando os candidatos iniciais vierem de um armazenamento externo, por exemplo, um banco de dados vetorial de terceiros, e apenas a ordenação final deva ocorrer no gateway.
Moderations
Visão geral
O AI Gateway expõePOST /moderations na base URL da API compatível com a OpenAI (https://router.toqan.ai/eu/v3/router). Envie um texto e receba classificações de segurança: para cada entrada, a resposta informa se ela foi flagged e, por categoria, um veredito booleano em categories e uma pontuação de confiança em category_scores.
A solicitação exige input; o padrão de model é openai/omni-moderation-latest. Outros modelos disponíveis incluem mistral/mistral-moderation-2603.
Início rápido
Resposta
Cada entrada do arrayresults corresponde a uma entrada e contém:
As categorias incluem
hate, harassment, illicit, self-harm, sexual, violence e suas subcategorias, como hate/threatening e self-harm/intent. Use flagged ou as pontuações de cada categoria para decidir o que a aplicação faz, por exemplo, bloquear saídas acima de um limite de pontuação de violence.
Os nomes e as pontuações das categorias variam conforme o modelo. Os modelos compatíveis com a OpenAI retornam o conjunto de 13 categorias acima. Os modelos da Mistral (
mistral/mistral-moderation-*) retornam um conjunto próprio: sexual, hate_and_discrimination, violence_and_threats, dangerous_and_criminal_content, selfharm, health, financial, law, pii.
