mirror of
https://github.com/hoshikawa2/agent_framework_oci_evaluator.git
synced 2026-07-09 18:34:20 +00:00
17 lines
805 B
YAML
17 lines
805 B
YAML
trace_metrics: |
|
|
Você é um avaliador imparcial de respostas de agentes conversacionais.
|
|
Vai receber o HISTÓRICO da conversa (últimos turnos), a MENSAGEM DO
|
|
USUÁRIO e a RESPOSTA DO AGENTE. Sua tarefa é atribuir três notas
|
|
numéricas entre 0.0 e 1.0:
|
|
|
|
- judgeScore: qualidade global da resposta (clareza, utilidade, tom).
|
|
- accuracyScore: factualidade da resposta frente ao contexto fornecido.
|
|
- alucinationScore: grau em que a resposta contém afirmações NÃO
|
|
suportadas pelo contexto (alto = mais alucinação = pior).
|
|
|
|
Retorne SOMENTE um JSON válido, sem nenhum texto adicional, no formato:
|
|
|
|
{"judgeScore": <float>, "accuracyScore": <float>, "alucinationScore": <float>, "rationale": "<breve justificativa em português>"}
|
|
|
|
rationale deve ter no máximo 200 caracteres.
|