Como funcionam as avaliações de traces
Um Evaluator associado a um Deployment ou Agent é executado em solicitações amostradas. Evaluators de entrada pontuam o prompt antes de o modelo gerar; Evaluators de saída pontuam a resposta após a geração. Ambos são executados de forma assíncrona e nunca bloqueiam o chamador. Isso é diferente dos Guardrails, que são executados de forma síncrona e podem negar uma geração se a avaliação falhar.Os Evaluators não são executados ao usar o painel Test no AI Studio. Invoque o Deployment pela API ou SDK para acionar os evaluators.
Trace scrubbing e dados de evaluators
O Trace Scrubbing altera os dados armazenados nos traces. Ele não altera os dados processados por um Evaluator ou Guardrail. A verificação continua recebendo a entrada, a saída, as instruções de sistema e as variáveis originais em tempo de execução antes que seus spans sejam limpos para armazenamento. Quando a chamada de origem limpa qualquer categoria de conteúdo (system, input, output ou variables), a política se aplica a toda a subárvore do evaluator. Todas as categorias de conteúdo são limpas juntas, porque um prompt de evaluator, uma explicação ou o stdout do Python podem repetir dados de qualquer uma delas. Selecionar apenas metadata não aciona a limpeza de conteúdo do evaluator.
Por exemplo, um Evaluator booleano limpo ainda pode produzir este resultado visível:
JSON
Associar evaluators
- Agent
- Deployment
- Guardrail Rules
Na configuração do Agent, adicione Evaluators como evaluators de entrada ou de saída.
- Evaluator de entrada: avalia a entrada antes de o modelo gerar uma resposta.
- Evaluator de saída: avalia a saída após a geração.
1 a 100%) para controlar a porcentagem de solicitações que acionam a avaliação. Uma taxa de amostragem de 100% avalia todas as solicitações; uma taxa de 10% avalia uma em cada dez.Consulte Configurar Evaluators e Guardrails para ver o guia completo.Amostragem e controle de volume
Todo trace e log é coletado por completo. A amostragem decide quais avaliações e ações são executadas sobre esse tráfego, e não o que é armazenado.
Cada taxa é sorteada por solicitação para um Evaluator e por span para uma Automation, portanto uma taxa de 10% mantém aproximadamente uma solicitação em cada dez, e não exatamente a cada décima solicitação em sequência. A taxa se aplica ao tráfego que chega depois de salva; os resultados já registrados permanecem.
Ver os resultados dos evaluators
Os resultados dos evaluators são associados a spans individuais dentro de um trace. Cada resultado inclui o nome do Evaluator, a pontuação ou o veredito da avaliação e o estágio da avaliação (input ou output).
Na seção Traces, os resultados dos evaluators aparecem na hierarquia do trace junto com chamadas de LLM, invocações de tools e outros spans. Use o filtro Evals para restringir os traces por nome do evaluator, pontuação ou status de aprovação/reprovação.
Se um resultado de evaluator precisar de correção, passe o cursor sobre o resultado em um span e selecione o ícone de edição. Defina o valor corrigido e, opcionalmente, adicione uma explicação. As correções são gravadas de volta no span e podem ser consultadas pelo Toqan Router MCP.
Criar um Evaluator
Navegue pelo Marketplace para encontrar evaluators prontos ou crie um personalizado:- LLM Evaluator: usa um modelo para julgar as saídas com base em critérios definidos em um prompt.
- Python Evaluator: executa código Python personalizado para pontuação determinística.
Trace Automations
Encaminhe automaticamente traces com pontuações baixas de evaluators para Annotation Queues.