mirror of
https://github.com/mcloh/decision-models-benchmark.git
synced 2026-11-05 22:04:12 +00:00
Executor de avaliação, métricas e .gitignore para metadados de modelos
- harness/evaluate.py: partição congelada com SHA-256, amostra com seed, lote 1, truncamento comum, contagem de tokens, latência (sem aquecimento), pico de RAM e GPU; teste bloqueado até o congelamento da configuração. - analysis/metrics.py: acurácia, macro F1, Brier, NLL, ECE, acurácia seletiva. - Diagnósticos por resposta (metadata.diagnostics); Laya informa opções colapsadas pelo orçamento de cabeçalho; head_max_len via DMB_LAYA_HEAD_MAX_LEN. - infra/ds/collect.py e gpu_queue --env para pilotos e rodadas. - .gitignore: de models/ só metadados (cards, configs, licenças, índices); pesos, tokenizadores grandes, runtimes, fontes clonados e caches ignorados. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
39
.gitignore
vendored
39
.gitignore
vendored
@@ -4,12 +4,42 @@ __pycache__/
|
||||
.venv*
|
||||
.pytest_cache/
|
||||
|
||||
# Pesos e caches de modelos (ficam no bucket `artefatos`)
|
||||
models/
|
||||
.cache/
|
||||
# Modelos: versiona só metadados úteis (README/model cards, config*.json, tokenizer_config.json,
|
||||
# LICENSE, índices e históricos de treino). Pesos, binários, tokenizadores grandes, runtimes e caches
|
||||
# ficam no bucket `dmb-artefatos`, com SHA-256 em env/artifacts-manifest.json.
|
||||
models/**/.cache/
|
||||
models/**/.gitattributes
|
||||
models/src/
|
||||
models/runtimes/
|
||||
models/**/downloads/
|
||||
models/**/tokenizer.json
|
||||
models/**/vocab.json
|
||||
models/**/merges.txt
|
||||
models/**/*.model
|
||||
models/**/*.tiktoken
|
||||
|
||||
# Pesos, tensores e binários (em qualquer lugar)
|
||||
*.safetensors
|
||||
*.bin
|
||||
*.gguf
|
||||
*.bin
|
||||
*.pt
|
||||
*.pth
|
||||
*.ckpt
|
||||
*.onnx
|
||||
*.msgpack
|
||||
*.h5
|
||||
*.npy
|
||||
*.npz
|
||||
*.so
|
||||
*.so.*
|
||||
*.tar
|
||||
*.tar.gz
|
||||
*.tgz
|
||||
*.zip
|
||||
*.bundle
|
||||
*.png
|
||||
*.jpg
|
||||
*.gif
|
||||
|
||||
# Dados brutos e anotados não são versionados (ficam nos buckets OCI)
|
||||
data/raw/*
|
||||
@@ -24,4 +54,5 @@ runs/
|
||||
.secrets/
|
||||
.oci/
|
||||
*.pem
|
||||
*.key
|
||||
.env
|
||||
|
||||
Reference in New Issue
Block a user