mirror of
https://github.com/mcloh/decision-models-benchmark.git
synced 2026-11-05 22:04:12 +00:00
Conjunto D1 sintético congelado e sanidade em CPU e GPU na OCI
- data/splits (d1-v1): dev 1183, calibração 1127, teste 1744 exemplos, 43 rótulos, partição por lote de geração, SHA-256 em MANIFEST.json; cópias em dmb-entrada e dmb-logs-imutaveis. - reports/datagen: relatórios de preparação e de anotação (3 LLMs em rodízio; kappa 0,98–0,99). - reports/sanity/oci: sanidade dos 4 candidatos em CPU (us-chicago-1, sub-rede privada) e GPU A10 (sa-saopaulo-1). - Plano: 47 de 78 tarefas concluídas; docs/02 com o resumo do conjunto. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
66
reports/datagen/annotation-report.json
Normal file
66
reports/datagen/annotation-report.json
Normal file
@@ -0,0 +1,66 @@
|
||||
{
|
||||
"annotators": [
|
||||
"openai.gpt-5.5",
|
||||
"google.gemini-2.5-pro",
|
||||
"xai.grok-4.3"
|
||||
],
|
||||
"items": 4057,
|
||||
"status": {
|
||||
"consenso": 3992,
|
||||
"desempate": 62,
|
||||
"excluido_tres_rotulos": 2,
|
||||
"excluido_sem_desempate": 1
|
||||
},
|
||||
"cohen_kappa": {
|
||||
"google.gemini-2.5-pro × openai.gpt-5.5": 0.9862,
|
||||
"google.gemini-2.5-pro × xai.grok-4.3": 0.9816,
|
||||
"openai.gpt-5.5 × xai.grok-4.3": 0.9823
|
||||
},
|
||||
"raw_agreement": 0.984,
|
||||
"agreement_with_generation": 0.9793,
|
||||
"gold_distribution": {
|
||||
"sem_correspondencia": 533,
|
||||
"atendimento_humano": 94,
|
||||
"conta_explicacao": 92,
|
||||
"recarga_nao_creditada": 91,
|
||||
"plano_troca": 88,
|
||||
"conta_contestacao": 87,
|
||||
"internet_consumo": 86,
|
||||
"conta_segunda_via": 86,
|
||||
"roaming_duvida": 86,
|
||||
"negociacao_religacao": 85,
|
||||
"internet_pacote_adicional": 85,
|
||||
"negociacao_divida": 85,
|
||||
"desconto_retencao": 85,
|
||||
"vas_consulta": 85,
|
||||
"vas_cancelamento": 85,
|
||||
"marketplace_pedido": 85,
|
||||
"roaming_cobranca": 84,
|
||||
"seguranca_perda_roubo": 84,
|
||||
"suporte_configuracao": 84,
|
||||
"beneficios_consulta": 84,
|
||||
"recarga_realizar": 84,
|
||||
"troca_numero": 84,
|
||||
"cadastro_atualizacao": 84,
|
||||
"conta_vencimento": 84,
|
||||
"fidelidade_pontos": 83,
|
||||
"marketplace_compra": 83,
|
||||
"fidelidade_resgate": 83,
|
||||
"conta_debito_automatico_digital": 83,
|
||||
"roaming_pacote": 83,
|
||||
"suporte_sem_sinal": 83,
|
||||
"conta_pagamento_confirmacao": 83,
|
||||
"cancelamento_linha": 83,
|
||||
"internet_problema_conexao": 83,
|
||||
"suporte_chip_esim": 83,
|
||||
"bonus_nao_recebido": 83,
|
||||
"portabilidade": 82,
|
||||
"vas_contratacao": 81,
|
||||
"plano_consulta": 81,
|
||||
"parceiros_ofertas": 80,
|
||||
"plano_nova_linha": 79,
|
||||
"seguranca_fraude": 78,
|
||||
"reclamacao_atendimento": 75,
|
||||
"recarga_saldo": 75
|
||||
}
|
||||
}
|
||||
7
reports/datagen/prepare-report.json
Normal file
7
reports/datagen/prepare-report.json
Normal file
@@ -0,0 +1,7 @@
|
||||
{
|
||||
"pii_masked": 4,
|
||||
"excluded_near_dup": 2,
|
||||
"excluded_exact_dup": 9,
|
||||
"generated": 4068,
|
||||
"kept": 4057
|
||||
}
|
||||
Reference in New Issue
Block a user