mirror of
https://github.com/mcloh/decision-models-benchmark.git
synced 2026-11-05 22:04:12 +00:00
Calibração e congelamento da configuração (tarefas 60–62)
- config/calibration.json: temperatura e limiar de abstenção por candidato e dispositivo, ajustados só na partição de calibração. - config/frozen.json: hashes de configuração, calibração, partições, adaptadores, contrato e ambientes; libera a partição de teste. - Q6: lote de produção = 1; tarefa 65 não se aplica neste ciclo (D4). Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
@@ -51,8 +51,7 @@ input: # Q8
|
||||
|
||||
execution:
|
||||
seed: 20261007
|
||||
batch_sweep: [1, 2, 4, 8, 16, 32] # Q6
|
||||
production_batch: auto # maior lote com p95 <= slo
|
||||
production_batch: 1 # Q6: contrato por requisição, decisão turno a turno
|
||||
repetitions: 3
|
||||
cpu: # Q11
|
||||
timeout_ms: 10000
|
||||
@@ -70,7 +69,6 @@ calibration: # Q10
|
||||
criteria: # Q5
|
||||
latency_gpu_batch1:
|
||||
p95_ms_per_decision: 150
|
||||
p95_ms_per_turn: 300
|
||||
accuracy:
|
||||
tasks: [D1, D2]
|
||||
non_inferiority_margin_pp: 3.0
|
||||
|
||||
Reference in New Issue
Block a user