Conjunto D1 sintético congelado e sanidade em CPU e GPU na OCI

- data/splits (d1-v1): dev 1183, calibração 1127, teste 1744 exemplos,
  43 rótulos, partição por lote de geração, SHA-256 em MANIFEST.json;
  cópias em dmb-entrada e dmb-logs-imutaveis.
- reports/datagen: relatórios de preparação e de anotação (3 LLMs em
  rodízio; kappa 0,98–0,99).
- reports/sanity/oci: sanidade dos 4 candidatos em CPU (us-chicago-1,
  sub-rede privada) e GPU A10 (sa-saopaulo-1).
- Plano: 47 de 78 tarefas concluídas; docs/02 com o resumo do conjunto.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
Marcos Lohmann
2026-10-07 14:16:18 -03:00
parent 171595f4c9
commit 2af9dae193
17 changed files with 5978 additions and 12 deletions

View File

@@ -0,0 +1,66 @@
{
"annotators": [
"openai.gpt-5.5",
"google.gemini-2.5-pro",
"xai.grok-4.3"
],
"items": 4057,
"status": {
"consenso": 3992,
"desempate": 62,
"excluido_tres_rotulos": 2,
"excluido_sem_desempate": 1
},
"cohen_kappa": {
"google.gemini-2.5-pro × openai.gpt-5.5": 0.9862,
"google.gemini-2.5-pro × xai.grok-4.3": 0.9816,
"openai.gpt-5.5 × xai.grok-4.3": 0.9823
},
"raw_agreement": 0.984,
"agreement_with_generation": 0.9793,
"gold_distribution": {
"sem_correspondencia": 533,
"atendimento_humano": 94,
"conta_explicacao": 92,
"recarga_nao_creditada": 91,
"plano_troca": 88,
"conta_contestacao": 87,
"internet_consumo": 86,
"conta_segunda_via": 86,
"roaming_duvida": 86,
"negociacao_religacao": 85,
"internet_pacote_adicional": 85,
"negociacao_divida": 85,
"desconto_retencao": 85,
"vas_consulta": 85,
"vas_cancelamento": 85,
"marketplace_pedido": 85,
"roaming_cobranca": 84,
"seguranca_perda_roubo": 84,
"suporte_configuracao": 84,
"beneficios_consulta": 84,
"recarga_realizar": 84,
"troca_numero": 84,
"cadastro_atualizacao": 84,
"conta_vencimento": 84,
"fidelidade_pontos": 83,
"marketplace_compra": 83,
"fidelidade_resgate": 83,
"conta_debito_automatico_digital": 83,
"roaming_pacote": 83,
"suporte_sem_sinal": 83,
"conta_pagamento_confirmacao": 83,
"cancelamento_linha": 83,
"internet_problema_conexao": 83,
"suporte_chip_esim": 83,
"bonus_nao_recebido": 83,
"portabilidade": 82,
"vas_contratacao": 81,
"plano_consulta": 81,
"parceiros_ofertas": 80,
"plano_nova_linha": 79,
"seguranca_fraude": 78,
"reclamacao_atendimento": 75,
"recarga_saldo": 75
}
}

View File

@@ -0,0 +1,7 @@
{
"pii_masked": 4,
"excluded_near_dup": 2,
"excluded_exact_dup": 9,
"generated": 4068,
"kept": 4057
}