Conjunto D1 sintético congelado e sanidade em CPU e GPU na OCI

- data/splits (d1-v1): dev 1183, calibração 1127, teste 1744 exemplos,
  43 rótulos, partição por lote de geração, SHA-256 em MANIFEST.json;
  cópias em dmb-entrada e dmb-logs-imutaveis.
- reports/datagen: relatórios de preparação e de anotação (3 LLMs em
  rodízio; kappa 0,98–0,99).
- reports/sanity/oci: sanidade dos 4 candidatos em CPU (us-chicago-1,
  sub-rede privada) e GPU A10 (sa-saopaulo-1).
- Plano: 47 de 78 tarefas concluídas; docs/02 com o resumo do conjunto.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
Marcos Lohmann
2026-10-07 14:16:18 -03:00
parent 171595f4c9
commit 2af9dae193
17 changed files with 5978 additions and 12 deletions

View File

@@ -94,6 +94,8 @@ Cada tarefa tem **pergunta**, **opções com descrição** e **regra de decisão
| Anotação | `datagen.annotate`: três modelos (`openai.gpt-5.5`, `google.gemini-2.5-pro`, `xai.grok-4.3`) em rodízio por lote; dois anotam de forma independente, sem ver o rótulo de geração, e o terceiro desempata. Três rótulos distintos → exemplo excluído. Instruções: [06-guia-de-anotacao.md](06-guia-de-anotacao.md) | 29–32 |
| Montagem | `datagen.build`: partição por lote de geração (3/2/2 lotes por intenção para teste/calibração/dev), conjuntos de 4, 8, 12 ou 16 opções simulando a elegibilidade (10% sem a intenção correta → `sem_correspondencia`), lint e congelamento com SHA-256 em `dmb-entrada` e `dmb-logs-imutaveis` | 33–36 |
**Conjunto d1-v1 (congelado em 2026-10-07):** 4.068 gerados → 4.057 após a preparação → 4054 após a anotação (62 por desempate; 3 excluídos). Partições: dev 1183, calibração 1127, teste 1744, com 43 rótulos em todas. Kappa entre anotadores de 0.98 a 0.99: a concordância muito alta sugere que parte dos casos sintéticos é fácil. Para o relatório, os cortes por perfil (erros, regionalismo, emocional, indireto) e por `gold_eligible=false` devem receber atenção.
Itens abaixo descrevem o desenho geral (válido também para dados reais em ciclos futuros).