- harness/evaluate.py: partição congelada com SHA-256, amostra com seed,
lote 1, truncamento comum, contagem de tokens, latência (sem aquecimento),
pico de RAM e GPU; teste bloqueado até o congelamento da configuração.
- analysis/metrics.py: acurácia, macro F1, Brier, NLL, ECE, acurácia seletiva.
- Diagnósticos por resposta (metadata.diagnostics); Laya informa opções
colapsadas pelo orçamento de cabeçalho; head_max_len via DMB_LAYA_HEAD_MAX_LEN.
- infra/ds/collect.py e gpu_queue --env para pilotos e rodadas.
- .gitignore: de models/ só metadados (cards, configs, licenças, índices);
pesos, tokenizadores grandes, runtimes, fontes clonados e caches ignorados.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
