Pular para o conteúdo principal

​
O que são Trace Automations

As Trace Automations oferecem uma forma de criar datasets, acionar ações e simplificar o monitoramento diretamente a partir da atividade dos traces.
Cada automação é composta por:
  • Filtros: definem quais traces serão alvo (por exemplo, por atributos de span como status, modelo ou metadados, e por saída de evaluators e feedback humano)
  • Taxa de amostragem: escolha a porcentagem de spans correspondentes que acionam ações, de 0 a 100. Uma Automation criada sem valor é executada em todos os spans.
  • Ações: definem o que acontece quando um trace atende às condições
Isso facilita coletar, revisar e avaliar traces automaticamente à medida que a aplicação cresce. A lista mostra cada automação com suas colunas:

​
Por que usar Automations

À medida que suas aplicações de LLM crescem, o número de traces gerados pode rapidamente ficar grande demais para ser revisado manualmente. As automações garantem que seus traces mais importantes sejam capturados e tratados sem trabalho manual — seja para garantia de qualidade, novo treinamento ou depuração. Você pode usar automações para:
  • Adicionar traces a um dataset automaticamente para avaliação ou fine-tuning futuros
  • Enviar traces com pontuações de feedback baixas para uma fila de anotação para serem anotados
  • Amostrar uma porcentagem de traces para verificações aleatórias de qualidade

​
Configurar Trace Automations

Para criar uma nova automação:
1

Abra Automations

Abra Automations na seção Observability da barra lateral.
2

Crie a Automation

Clique em Create Automation.
3

Defina os filtros

Defina os filtros para os Traces.Os Traces correspondentes executarão a ação desejada.
4

Defina a taxa de amostragem

Defina a taxa de amostragem (de 0 a 100; 0 ignora todos os spans). Cada span correspondente é amostrado de forma independente, portanto uma taxa de 10% aciona a ação em aproximadamente um a cada dez.
5

Defina a ação

Escolha entre as seguintes ações:
  • Add to Dataset: copia o trace para um Dataset.
  • Add to Annotation Queue: envia o trace para uma Annotation Queue.
  • Apply Evaluator: executa um Evaluator no trace. A opção está marcada como Coming soon.
6

Habilite a Automation

Depois de salva, sua automação é executada nos Traces que chegarem a partir desse momento. Ela não é aplicada retroativamente aos Traces que já estão na Plataforma.
Depois de ativa, todo novo trace que corresponder aos filtros definidos acionará automaticamente a ação configurada.

​
Filtrar por avaliações e feedback humano

As automações podem filtrar pelos resultados que seus evaluators produzem e pelo feedback que sua equipe deixa durante a revisão. Isso fecha o ciclo entre traces, avaliações e ações posteriores — por exemplo, enviar para uma fila de anotação todo trace que seu evaluator de alucinação pontuou alto, ou reunir em um dataset para novo treinamento os traces que um revisor marcou como ruins. Evaluators e revisões humanas aparecem no mesmo menu de filtros que os demais campos dos traces, em Evals e Annotations. Escolher um deles filtra pelo próprio resultado desse evaluator, e os operadores e valores oferecidos correspondem à forma como ele pontua — um evaluator numérico oferece limites, um evaluator de aprovação/reprovação oferece verdadeiro ou falso, e uma revisão com opções fixas oferece exatamente essas opções.

​
Como esses filtros são correspondidos

Um filtro tem como escopo o evaluator ou a revisão nomeada nele. Filtrar por hallucination > 0.8 corresponde somente quando o próprio evaluator de alucinação pontuou acima de 0.8, nunca quando outro evaluator o fez. Dois filtros no mesmo evaluator descrevem um único resultado, então > 0.5 e < 0.9 juntos significam uma única pontuação dentro desse intervalo.
Revisões em texto livre — uma nota escrita ou uma correção — geralmente são filtradas pela existência ou não de uma revisão, e não pelo seu conteúdo. Use is not empty para “um revisor deixou uma” e is empty para “ninguém deixou”. Os mesmos operadores funcionam com qualquer evaluator, então você também pode verificar se um evaluator chegou a ser executado em um trace. Os filtros de evaluator e de feedback humano são independentes, então uma regra pode exigir ambos — um resultado de evaluator e um feedback humano, cada um atendendo aos próprios filtros. Como avaliações e feedbacks são registrados depois que um trace chega, esses filtros são avaliados quando a avaliação ou o feedback é recebido, e não na ingestão. Portanto, um trace pode acionar uma automação minutos ou dias depois de ter sido registrado — assim que o evaluator termina ou assim que um revisor envia sua anotação.
Uma regra que filtra apenas por uma avaliação estar vazia continua sendo avaliada quando uma avaliação é recebida, então ela precisa de outro elemento para ser acionada — combine-a com outro evaluator ou revisão que de fato seja registrado.
Uma regra é verificada novamente sempre que uma avaliação ou anotação é registrada em um trace. Execuções repetidas atualizam em vez de acumular: Add to dataset mantém um datapoint por regra e span, atualizando-o no lugar, e Add to annotation queue não altera um span que já está na fila. Um trace que contém vários spans correspondentes gera um datapoint por span, e duas regras diferentes que gravam no mesmo dataset mantêm, cada uma, seu próprio datapoint.
Filtros de valor nunca correspondem a um trace sem avaliação: limites, verdadeiro e falso e opções fixas se aplicam depois que um resultado é registrado. is empty é o operador que corresponde a um resultado ausente.