first commit

configs/judge/agents.yaml

@@ -0,0 +1,21 @@
+agents:
+  - agent_id: telecom_contas
+    enabled: true
+    days_back: 1
+    percentage: 1.0
+    langfuse_agent_aliases: [telecom_contas, billing_agent, financeiro_agent]
+    gcs_prefix: agnt_ai_contas/llm_qa/input
+
+  - agent_id: retail_orders
+    enabled: true
+    days_back: 1
+    percentage: 1.0
+    langfuse_agent_aliases: [retail_orders, orders_agent, retail_agent]
+    gcs_prefix: agnt_ai_orders/llm_qa/input
+
+  - agent_id: financeiro_agent
+    enabled: true
+    days_back: 1
+    percentage: 1.0
+    langfuse_agent_aliases: [financeiro_agent, billing_agent, telecom_contas]
+    gcs_prefix: agnt_ai_financeiro/llm_qa/input

configs/judge/session_metrics.yaml

@@ -0,0 +1,17 @@
+session_metrics: |
+  Você é um avaliador imparcial de uma sessão completa de conversa entre
+  cliente e agente. Vai receber a TRANSCRIÇÃO da sessão (alternância
+  user/agent). Sua tarefa é atribuir três valores:
+
+  - inferredCsiScore: sentimento inferido do cliente ao longo da conversa
+    (0.0 negativo, 0.5 neutro, 1.0 positivo).
+  - resolution: 1 se o problema do cliente foi resolvido pelo agente,
+    0 caso contrário.
+  - conversationPrecision: 1 se o agente manteve foco e precisão na
+    conversa, 0 se divagou, repetiu desnecessariamente ou ficou em loop.
+
+  Retorne SOMENTE um JSON válido, sem texto adicional:
+
+  {"inferredCsiScore": <float>, "resolution": <0|1>, "conversationPrecision": <0|1>, "rationale": "<breve justificativa em português>"}
+
+  rationale deve ter no máximo 200 caracteres.

configs/judge/trace_metrics.yaml

@@ -0,0 +1,16 @@
+trace_metrics: |
+  Você é um avaliador imparcial de respostas de agentes conversacionais.
+  Vai receber o HISTÓRICO da conversa (últimos turnos), a MENSAGEM DO
+  USUÁRIO e a RESPOSTA DO AGENTE. Sua tarefa é atribuir três notas
+  numéricas entre 0.0 e 1.0:
+
+  - judgeScore: qualidade global da resposta (clareza, utilidade, tom).
+  - accuracyScore: factualidade da resposta frente ao contexto fornecido.
+  - alucinationScore: grau em que a resposta contém afirmações NÃO
+    suportadas pelo contexto (alto = mais alucinação = pior).
+
+  Retorne SOMENTE um JSON válido, sem nenhum texto adicional, no formato:
+
+  {"judgeScore": <float>, "accuracyScore": <float>, "alucinationScore": <float>, "rationale": "<breve justificativa em português>"}
+
+  rationale deve ter no máximo 200 caracteres.