mirror of
https://github.com/mcloh/decision-models-benchmark.git
synced 2026-11-06 06:14:11 +00:00
328ccd1c2e
- harness/evaluate.py: partição congelada com SHA-256, amostra com seed, lote 1, truncamento comum, contagem de tokens, latência (sem aquecimento), pico de RAM e GPU; teste bloqueado até o congelamento da configuração. - analysis/metrics.py: acurácia, macro F1, Brier, NLL, ECE, acurácia seletiva. - Diagnósticos por resposta (metadata.diagnostics); Laya informa opções colapsadas pelo orçamento de cabeçalho; head_max_len via DMB_LAYA_HEAD_MAX_LEN. - infra/ds/collect.py e gpu_queue --env para pilotos e rodadas. - .gitignore: de models/ só metadados (cards, configs, licenças, índices); pesos, tokenizadores grandes, runtimes, fontes clonados e caches ignorados. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
59 lines
971 B
Plaintext
59 lines
971 B
Plaintext
# Python
|
|
__pycache__/
|
|
*.py[cod]
|
|
.venv*
|
|
.pytest_cache/
|
|
|
|
# Modelos: versiona só metadados úteis (README/model cards, config*.json, tokenizer_config.json,
|
|
# LICENSE, índices e históricos de treino). Pesos, binários, tokenizadores grandes, runtimes e caches
|
|
# ficam no bucket `dmb-artefatos`, com SHA-256 em env/artifacts-manifest.json.
|
|
models/**/.cache/
|
|
models/**/.gitattributes
|
|
models/src/
|
|
models/runtimes/
|
|
models/**/downloads/
|
|
models/**/tokenizer.json
|
|
models/**/vocab.json
|
|
models/**/merges.txt
|
|
models/**/*.model
|
|
models/**/*.tiktoken
|
|
|
|
# Pesos, tensores e binários (em qualquer lugar)
|
|
*.safetensors
|
|
*.gguf
|
|
*.bin
|
|
*.pt
|
|
*.pth
|
|
*.ckpt
|
|
*.onnx
|
|
*.msgpack
|
|
*.h5
|
|
*.npy
|
|
*.npz
|
|
*.so
|
|
*.so.*
|
|
*.tar
|
|
*.tar.gz
|
|
*.tgz
|
|
*.zip
|
|
*.bundle
|
|
*.png
|
|
*.jpg
|
|
*.gif
|
|
|
|
# Dados brutos e anotados não são versionados (ficam nos buckets OCI)
|
|
data/raw/*
|
|
data/annotated/*
|
|
!data/**/.gitkeep
|
|
|
|
# Resultados de execução (ficam no bucket `resultados`)
|
|
runs/
|
|
*.log
|
|
|
|
# Credenciais
|
|
.secrets/
|
|
.oci/
|
|
*.pem
|
|
*.key
|
|
.env
|