mirror of
https://github.com/mcloh/decision-models-benchmark.git
synced 2026-11-05 22:04:12 +00:00
2af9dae193
- data/splits (d1-v1): dev 1183, calibração 1127, teste 1744 exemplos, 43 rótulos, partição por lote de geração, SHA-256 em MANIFEST.json; cópias em dmb-entrada e dmb-logs-imutaveis. - reports/datagen: relatórios de preparação e de anotação (3 LLMs em rodízio; kappa 0,98–0,99). - reports/sanity/oci: sanidade dos 4 candidatos em CPU (us-chicago-1, sub-rede privada) e GPU A10 (sa-saopaulo-1). - Plano: 47 de 78 tarefas concluídas; docs/02 com o resumo do conjunto. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
55 lines
1.2 KiB
JSON
55 lines
1.2 KiB
JSON
{
|
|
"version": "d1-v1",
|
|
"taxonomy_version": "v1.0",
|
|
"built_at": "2026-10-07T17:13:53+00:00",
|
|
"source_run": "/data/runs/datagen-v1",
|
|
"seed": 20261007,
|
|
"splits": {
|
|
"dev": {
|
|
"file": "dev.jsonl",
|
|
"sha256": "964c58ca34054e7186b8544cbcddf8e89e317cdb51b43dc2ffd05c99ef757465",
|
|
"examples": 1183,
|
|
"groups": 99,
|
|
"labels": 43,
|
|
"oos": 178,
|
|
"gold_not_eligible": 98,
|
|
"n_options": {
|
|
"4": 320,
|
|
"8": 311,
|
|
"12": 274,
|
|
"16": 278
|
|
}
|
|
},
|
|
"calibration": {
|
|
"file": "calibration.jsonl",
|
|
"sha256": "c35d919324d5bbbcb2b9e7369a3554c5cfd77e5a50da3f7a4e6c4b971a03436c",
|
|
"examples": 1127,
|
|
"groups": 94,
|
|
"labels": 43,
|
|
"oos": 120,
|
|
"gold_not_eligible": 114,
|
|
"n_options": {
|
|
"4": 287,
|
|
"8": 293,
|
|
"12": 277,
|
|
"16": 270
|
|
}
|
|
},
|
|
"test": {
|
|
"file": "test.jsonl",
|
|
"sha256": "e3bd18c5ae6a19e996f0a81cece1b2afe1056e7969fa6b4ea962d3a1ca7df00b",
|
|
"examples": 1744,
|
|
"groups": 146,
|
|
"labels": 43,
|
|
"oos": 236,
|
|
"gold_not_eligible": 142,
|
|
"n_options": {
|
|
"4": 451,
|
|
"8": 431,
|
|
"12": 422,
|
|
"16": 440
|
|
}
|
|
}
|
|
}
|
|
}
|