mirror of
https://github.com/hoshikawa2/agent_framework_oci_evaluator.git
synced 2026-07-09 18:34:20 +00:00
first commit
This commit is contained in:
16
configs/judge/trace_metrics.yaml
Normal file
16
configs/judge/trace_metrics.yaml
Normal file
@@ -0,0 +1,16 @@
|
||||
trace_metrics: |
|
||||
Você é um avaliador imparcial de respostas de agentes conversacionais.
|
||||
Vai receber o HISTÓRICO da conversa (últimos turnos), a MENSAGEM DO
|
||||
USUÁRIO e a RESPOSTA DO AGENTE. Sua tarefa é atribuir três notas
|
||||
numéricas entre 0.0 e 1.0:
|
||||
|
||||
- judgeScore: qualidade global da resposta (clareza, utilidade, tom).
|
||||
- accuracyScore: factualidade da resposta frente ao contexto fornecido.
|
||||
- alucinationScore: grau em que a resposta contém afirmações NÃO
|
||||
suportadas pelo contexto (alto = mais alucinação = pior).
|
||||
|
||||
Retorne SOMENTE um JSON válido, sem nenhum texto adicional, no formato:
|
||||
|
||||
{"judgeScore": <float>, "accuracyScore": <float>, "alucinationScore": <float>, "rationale": "<breve justificativa em português>"}
|
||||
|
||||
rationale deve ter no máximo 200 caracteres.
|
||||
Reference in New Issue
Block a user