mirror of
https://github.com/mcloh/decision-models-benchmark.git
synced 2026-11-05 22:04:12 +00:00
Executor de avaliação, métricas e .gitignore para metadados de modelos
- harness/evaluate.py: partição congelada com SHA-256, amostra com seed, lote 1, truncamento comum, contagem de tokens, latência (sem aquecimento), pico de RAM e GPU; teste bloqueado até o congelamento da configuração. - analysis/metrics.py: acurácia, macro F1, Brier, NLL, ECE, acurácia seletiva. - Diagnósticos por resposta (metadata.diagnostics); Laya informa opções colapsadas pelo orçamento de cabeçalho; head_max_len via DMB_LAYA_HEAD_MAX_LEN. - infra/ds/collect.py e gpu_queue --env para pilotos e rodadas. - .gitignore: de models/ só metadados (cards, configs, licenças, índices); pesos, tokenizadores grandes, runtimes, fontes clonados e caches ignorados. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
@@ -41,6 +41,8 @@ def build_response(adapter: Adapter, request: dict, answers: dict, input_tokens:
|
||||
"probabilities_source": adapter.probabilities_source,
|
||||
},
|
||||
}
|
||||
if adapter.last_diagnostics:
|
||||
response["metadata"]["diagnostics"] = adapter.last_diagnostics
|
||||
errors = response_errors(response)
|
||||
if errors:
|
||||
raise UnknownOption("resposta fora do contrato: " + "; ".join(errors[:3]))
|
||||
@@ -54,6 +56,7 @@ def systemone(adapter: Adapter, request: dict) -> dict:
|
||||
if not isinstance(state, str):
|
||||
# Todo adaptador recebe texto; estados estruturados viram JSON canônico.
|
||||
state = json.dumps(state, ensure_ascii=False, sort_keys=True)
|
||||
adapter.last_diagnostics = {}
|
||||
started = time.perf_counter()
|
||||
answers, input_tokens = adapter.decide(state, request["questions"])
|
||||
latency_ms = (time.perf_counter() - started) * 1000
|
||||
|
||||
Reference in New Issue
Block a user