Commit Graph

4 Commits

Author SHA1 Message Date
Marcos Lohmann
d4564d9c1d Calibração e congelamento da configuração (tarefas 60–62)
- config/calibration.json: temperatura e limiar de abstenção por candidato e
  dispositivo, ajustados só na partição de calibração.
- config/frozen.json: hashes de configuração, calibração, partições,
  adaptadores, contrato e ambientes; libera a partição de teste.
- Q6: lote de produção = 1; tarefa 65 não se aplica neste ciclo (D4).

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-07 18:54:20 -03:00
Marcos Lohmann
45f303c2f7 Calibração por temperatura, limiares de abstenção e congelamento (tarefas 60–62)
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-07 18:24:10 -03:00
Marcos Lohmann
328ccd1c2e Executor de avaliação, métricas e .gitignore para metadados de modelos
- harness/evaluate.py: partição congelada com SHA-256, amostra com seed,
  lote 1, truncamento comum, contagem de tokens, latência (sem aquecimento),
  pico de RAM e GPU; teste bloqueado até o congelamento da configuração.
- analysis/metrics.py: acurácia, macro F1, Brier, NLL, ECE, acurácia seletiva.
- Diagnósticos por resposta (metadata.diagnostics); Laya informa opções
  colapsadas pelo orçamento de cabeçalho; head_max_len via DMB_LAYA_HEAD_MAX_LEN.
- infra/ds/collect.py e gpu_queue --env para pilotos e rodadas.
- .gitignore: de models/ só metadados (cards, configs, licenças, índices);
  pesos, tokenizadores grandes, runtimes, fontes clonados e caches ignorados.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-07 15:06:57 -03:00
Marcos Lohmann
344d1582fe update config and docs 2026-10-07 14:47:13 -03:00