Pular para o conteúdo principal
Consulte URLs e autenticação HTTP e a referência da API para os formatos completos de solicitação e resposta. As Annotation Queues organizam Traces em fluxos de revisão para que Annotations possam ser aplicadas em lote no AI Studio. Para definir anotações e aplicá-las individualmente, pela API e pelo SDK ou pela CLI, consulte Annotations.

​
Criar Annotation Queues

As Annotation Queues ajudam você a organizar e aplicar anotações com eficiência aos Traces relevantes que chegam.
Para criar uma Annotation Queue, acesse AI Studio > Annotation Queue.Escolha Create Annotation Queue.Os seguintes campos podem ser configurados:
  • O Name da fila
  • A Description da Annotation Queue
  • O Project ao qual a fila pertence, escolhido em Select a project. A fila mostra as Annotations definidas nesse projeto.

​
Preencher Annotation Queues

Depois que uma fila existir, preencha-a com os Traces a serem revisados. Os Traces podem ser adicionados automática ou manualmente.
Use Trace Automations para encaminhar Traces para uma fila com base em regras configuradas. Adicione uma ação Add to Annotation Queue a uma automação e selecione a fila de destino. À medida que Traces correspondentes chegam, eles são adicionados à fila sem esforço manual, o que mantém um fluxo constante de Traces relevantes prontos para revisão.

​
Usar Annotation Queues

Abra uma Annotation Queue para percorrer seus Traces, um de cada vez, na tela de revisão. A tela é dividida em três painéis:
  • Esquerda: detalhes do Trace selecionado.
    • Inputs: as variáveis mapeadas para entradas, quando configuradas.
    • Metrics: latência, custo e uso de tokens.
    • Task: o modelo, o provedor e outros parâmetros de configuração.
    O cabeçalho mostra a posição atual, o número total de itens na fila e quantos já foram revisados.
  • Centro: a interação completa do Trace selecionado.
  • Direita: o painel Annotations com as Annotations definidas no projeto da fila, como uma avaliação com botões categóricos ou um campo de comentário aberto. Selecionar um valor salva imediatamente e marca o Trace como revisado.
Navegue entre os itens com K (anterior) e J (próximo) ou use os botões para cima e para baixo no canto superior esquerdo. Quando um ponto de dados valer a pena ser reutilizado, selecione Add to dataset para enviar o Trace a um Dataset para uso em um futuro Experiment.
Adicionar um Trace a um Dataset copia as anotações somente quando Copy annotations está selecionado. Os valores das anotações também permanecem no Trace de origem, onde continuam podendo ser consultados pelo Toqan Router MCP.
Os resultados de Evaluators exibidos na tela de revisão também podem ser corrigidos, e não apenas anotados. Consulte Corrigir um resultado de Evaluator na página Traces para ver o fluxo completo.

​
Excluir ou limpar Annotation Queues

Selecione o menu na linha de uma fila e escolha Delete para remover a fila junto com seus itens. O mesmo menu oferece Edit para o nome, a descrição e o projeto da fila. Para esvaziar uma fila mantendo-a e mantendo sua configuração, limpe-a:
A limpeza é irreversível: todos os itens são removidos da fila e a contagem de itens volta a zero. As Annotations já aplicadas a esses Traces permanecem nos Traces. Consulte Delete All Items e Delete an Annotation Queue para ver os detalhes da solicitação e da resposta.