mirror of
https://github.com/mcloh/decision-models-benchmark.git
synced 2026-11-06 06:14:11 +00:00
Conjunto D1 sintético congelado e sanidade em CPU e GPU na OCI
- data/splits (d1-v1): dev 1183, calibração 1127, teste 1744 exemplos, 43 rótulos, partição por lote de geração, SHA-256 em MANIFEST.json; cópias em dmb-entrada e dmb-logs-imutaveis. - reports/datagen: relatórios de preparação e de anotação (3 LLMs em rodízio; kappa 0,98–0,99). - reports/sanity/oci: sanidade dos 4 candidatos em CPU (us-chicago-1, sub-rede privada) e GPU A10 (sa-saopaulo-1). - Plano: 47 de 78 tarefas concluídas; docs/02 com o resumo do conjunto. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
Marcos Lohmann
54
data/splits/MANIFEST.json
Normal file
54
data/splits/MANIFEST.json
Normal file
@@ -0,0 +1,54 @@
|
||||
{
|
||||
"version": "d1-v1",
|
||||
"taxonomy_version": "v1.0",
|
||||
"built_at": "2026-10-07T17:13:53+00:00",
|
||||
"source_run": "/data/runs/datagen-v1",
|
||||
"seed": 20261007,
|
||||
"splits": {
|
||||
"dev": {
|
||||
"file": "dev.jsonl",
|
||||
"sha256": "964c58ca34054e7186b8544cbcddf8e89e317cdb51b43dc2ffd05c99ef757465",
|
||||
"examples": 1183,
|
||||
"groups": 99,
|
||||
"labels": 43,
|
||||
"oos": 178,
|
||||
"gold_not_eligible": 98,
|
||||
"n_options": {
|
||||
"4": 320,
|
||||
"8": 311,
|
||||
"12": 274,
|
||||
"16": 278
|
||||
}
|
||||
},
|
||||
"calibration": {
|
||||
"file": "calibration.jsonl",
|
||||
"sha256": "c35d919324d5bbbcb2b9e7369a3554c5cfd77e5a50da3f7a4e6c4b971a03436c",
|
||||
"examples": 1127,
|
||||
"groups": 94,
|
||||
"labels": 43,
|
||||
"oos": 120,
|
||||
"gold_not_eligible": 114,
|
||||
"n_options": {
|
||||
"4": 287,
|
||||
"8": 293,
|
||||
"12": 277,
|
||||
"16": 270
|
||||
}
|
||||
},
|
||||
"test": {
|
||||
"file": "test.jsonl",
|
||||
"sha256": "e3bd18c5ae6a19e996f0a81cece1b2afe1056e7969fa6b4ea962d3a1ca7df00b",
|
||||
"examples": 1744,
|
||||
"groups": 146,
|
||||
"labels": 43,
|
||||
"oos": 236,
|
||||
"gold_not_eligible": 142,
|
||||
"n_options": {
|
||||
"4": 451,
|
||||
"8": 431,
|
||||
"12": 422,
|
||||
"16": 440
|
||||
}
|
||||
}
|
||||
}
|
||||
}
|
||||
1127
data/splits/calibration.jsonl
Normal file
1127
data/splits/calibration.jsonl
Normal file
File diff suppressed because it is too large
Load Diff
1183
data/splits/dev.jsonl
Normal file
1183
data/splits/dev.jsonl
Normal file
File diff suppressed because it is too large
Load Diff
1744
data/splits/test.jsonl
Normal file
1744
data/splits/test.jsonl
Normal file
File diff suppressed because it is too large
Load Diff
@@ -94,6 +94,8 @@ Cada tarefa tem **pergunta**, **opções com descrição** e **regra de decisão
|
||||
| Anotação | `datagen.annotate`: três modelos (`openai.gpt-5.5`, `google.gemini-2.5-pro`, `xai.grok-4.3`) em rodízio por lote; dois anotam de forma independente, sem ver o rótulo de geração, e o terceiro desempata. Três rótulos distintos → exemplo excluído. Instruções: [06-guia-de-anotacao.md](06-guia-de-anotacao.md) | 29–32 |
|
||||
| Montagem | `datagen.build`: partição por lote de geração (3/2/2 lotes por intenção para teste/calibração/dev), conjuntos de 4, 8, 12 ou 16 opções simulando a elegibilidade (10% sem a intenção correta → `sem_correspondencia`), lint e congelamento com SHA-256 em `dmb-entrada` e `dmb-logs-imutaveis` | 33–36 |
|
||||
|
||||
**Conjunto d1-v1 (congelado em 2026-10-07):** 4.068 gerados → 4.057 após a preparação → 4054 após a anotação (62 por desempate; 3 excluídos). Partições: dev 1183, calibração 1127, teste 1744, com 43 rótulos em todas. Kappa entre anotadores de 0.98 a 0.99: a concordância muito alta sugere que parte dos casos sintéticos é fácil. Para o relatório, os cortes por perfil (erros, regionalismo, emocional, indireto) e por `gold_eligible=false` devem receber atenção.
|
||||
|
||||
Itens abaixo descrevem o desenho geral (válido também para dados reais em ciclos futuros).
|
||||
|
||||
|
||||
|
||||
@@ -20,14 +20,14 @@ flowchart LR
|
||||
As fases F0–F1 (infra) e F2–F3 (dados) podem andar em paralelo.
|
||||
|
||||
<!-- PROGRESSO:INICIO -->
|
||||
**Andamento em 2026-10-07:** 40 de 78 tarefas concluídas (51%), 8 em andamento.
|
||||
**Andamento em 2026-10-07:** 47 de 78 tarefas concluídas (60%), 2 em andamento.
|
||||
|
||||
| Fase | Concluídas | Em andamento | Pendentes |
|
||||
|------|-----------|--------------|-----------|
|
||||
| F0 — Infraestrutura OCI | 6 | 2 | 2 |
|
||||
| F1 — Ambiente e artefatos | 9 | 0 | 0 |
|
||||
| F2 — Tarefas de decisão e taxonomia | 4 | 0 | 0 |
|
||||
| F3 — Dados e anotação | 5 | 6 | 1 |
|
||||
| F3 — Dados e anotação | 12 | 0 | 0 |
|
||||
| F4 — Contrato JEV e adaptadores | 16 | 0 | 0 |
|
||||
| F5 — Controle de execução | 0 | 0 | 3 |
|
||||
| F6 — Piloto | 0 | 0 | 4 |
|
||||
@@ -35,7 +35,7 @@ As fases F0–F1 (infra) e F2–F3 (dados) podem andar em paralelo.
|
||||
| F8 — Teste final | 0 | 0 | 4 |
|
||||
| F9 — Métricas e análise | 0 | 0 | 8 |
|
||||
| F10 — Relatório e encerramento | 0 | 0 | 4 |
|
||||
| **Total** | **40** | **8** | **30** |
|
||||
| **Total** | **47** | **2** | **29** |
|
||||
|
||||
Legenda: `[x]` concluída · `[~]` em andamento ou parcial · `[ ]` pendente.
|
||||
<!-- PROGRESSO:FIM -->
|
||||
@@ -111,7 +111,7 @@ Legenda: `[x]` concluída · `[~]` em andamento ou parcial · `[ ]` pendente.
|
||||
- ↳ **100% sintéticos** (`datagen.generate`, na VM): 4.068 enunciados em 339 lotes (42 intenções × 7 perfis + 5 categorias fora de escopo × 9 lotes), geradores `llama-4-maverick` e `command-a` alternados.
|
||||
- ↳ A unidade é a **conversa com vários turnos**, não o enunciado isolado. Cada turno guarda o estado (agente ativo e sessões suspensas).
|
||||
- [x] **25.** Remover ou mascarar dados pessoais, segredos e identificadores que o benchmark não precisa.
|
||||
- [~] **26.** Separar os textos por domínio, comprimento, grau de ambiguidade e classe esperada.
|
||||
- [x] **26.** Separar os textos por domínio, comprimento, grau de ambiguidade e classe esperada.
|
||||
- ↳ Acrescentar a posição do turno e a presença de agente ativo ou de sessões suspensas.
|
||||
- ↳ Primeiro ciclo (só D1): metadados `domain`, `length_bucket`, `ambiguity`, `profile`, `sentiment`, `kind` e `n_options` gravados por `datagen.build`.
|
||||
- [x] **27.** Criar exemplos adversariais com abreviações, erros de ortografia, regionalismos, textos curtos e várias intenções.
|
||||
@@ -122,16 +122,19 @@ Legenda: `[x]` concluída · `[~]` em andamento ou parcial · `[ ]` pendente.
|
||||
- [x] **29.** Produzir o guia de anotação humana.
|
||||
- ↳ [06-guia-de-anotacao.md](06-guia-de-anotacao.md), usado literalmente pelos anotadores.
|
||||
- ↳ O guia cobre D1–D4 com exemplos-limite (por exemplo, quando um enunciado curto continua a tarefa do agente ativo e quando inicia um novo agente).
|
||||
- [~] **30.** Anotar cada exemplo com dois avaliadores independentes.
|
||||
- [x] **30.** Anotar cada exemplo com dois avaliadores independentes.
|
||||
- ↳ Avaliadores = modelos generativos em rodízio (`openai.gpt-5.5`, `google.gemini-2.5-pro`, `xai.grok-4.3`). *(Q15)*
|
||||
- [~] **31.** Resolver as discordâncias com a revisão de um terceiro avaliador.
|
||||
- [~] **32.** Registrar, para cada exemplo, a resposta de referência, a justificativa e a versão da taxonomia.
|
||||
- ↳ Resultado: 4057 anotados; 3992 consensos (98.4%); kappa por par entre 0.982 e 0.986; concordância com o rótulo de geração 97.9%. Relatório em `reports/datagen/annotation-report.json`.
|
||||
- [x] **31.** Resolver as discordâncias com a revisão de um terceiro avaliador.
|
||||
- [x] **32.** Registrar, para cada exemplo, a resposta de referência, a justificativa e a versão da taxonomia.
|
||||
- ↳ Reportar também a concordância entre anotadores.
|
||||
- [~] **33.** Separar os dados em desenvolvimento, calibração e teste final por grupo de origem. *(Q12)*
|
||||
- ↳ O grupo é `group_id`, ou seja, a conversa.
|
||||
- [~] **34.** Impedir que textos derivados do mesmo caso apareçam em mais de uma partição.
|
||||
- [ ] **35.** Congelar o conjunto de teste final antes de qualquer ajuste de parâmetros.
|
||||
- [x] **33.** Separar os dados em desenvolvimento, calibração e teste final por grupo de origem. *(Q12)*
|
||||
- ↳ O grupo é `group_id`, ou seja, a conversa. No ciclo sintético, o grupo é o lote de geração.
|
||||
- ↳ `data/splits/` (d1-v1): dev 1183 · calibração 1127 · teste 1744 exemplos (teste ≥ 1.300, Q12).
|
||||
- [x] **34.** Impedir que textos derivados do mesmo caso apareçam em mais de uma partição.
|
||||
- [x] **35.** Congelar o conjunto de teste final antes de qualquer ajuste de parâmetros.
|
||||
- ↳ Registrar o hash do arquivo congelado e guardar uma cópia em `logs-imutaveis`.
|
||||
- ↳ Congelado em 2026-10-07: SHA-256 em `data/splits/MANIFEST.json`, cópias em `dmb-entrada` e `dmb-logs-imutaveis` (`splits/d1-v1/`), junto com os dados brutos da geração e da anotação.
|
||||
|
||||
## F4 — Contrato JEV e adaptadores
|
||||
|
||||
@@ -171,7 +174,7 @@ Legenda: `[x]` concluída · `[~]` em andamento ou parcial · `[ ]` pendente.
|
||||
- [ ] **55.** Executar um piloto de 50 exemplos por candidato em CPU.
|
||||
- ↳ Sanidade em CPU (us-chicago-1, sub-rede privada) aprovada nos 4 candidatos: Laya 125 ms, GLiNER 194 ms, Rizzo Flow 7,3 s, SemIf 16,4 s (latência mediana). *(Q11)*
|
||||
- [ ] **56.** Executar um piloto de 50 exemplos por candidato em GPU.
|
||||
- ↳ GPU em **sa-saopaulo-1, A10.1**, uma por vez *(Q14)*. Sanidade em GPU: Laya 21 ms, GLiNER 16 ms, SemIf 66 ms (latência mediana). Rizzo Flow exigiu compilar o llama.cpp com CUDA para a glibc da imagem dos jobs (`infra/ds/build_llama_cuda.sh`).
|
||||
- ↳ GPU em **sa-saopaulo-1, A10.1**, uma por vez *(Q14)*. Sanidade em GPU: Laya 21 ms, GLiNER 16 ms, SemIf 66 ms (latência mediana). Rizzo Flow 62 ms, depois de compilar o llama.cpp com CUDA para a glibc da imagem dos jobs (`infra/ds/build_llama_cuda.sh`).
|
||||
- [ ] **57.** Medir memória de GPU, memória RAM, tempo de carga, tempo de aquecimento e falhas do piloto.
|
||||
- [ ] **58.** Ajustar apenas os parâmetros operacionais necessários para eliminar falhas de execução.
|
||||
|
||||
|
||||
66
reports/datagen/annotation-report.json
Normal file
66
reports/datagen/annotation-report.json
Normal file
@@ -0,0 +1,66 @@
|
||||
{
|
||||
"annotators": [
|
||||
"openai.gpt-5.5",
|
||||
"google.gemini-2.5-pro",
|
||||
"xai.grok-4.3"
|
||||
],
|
||||
"items": 4057,
|
||||
"status": {
|
||||
"consenso": 3992,
|
||||
"desempate": 62,
|
||||
"excluido_tres_rotulos": 2,
|
||||
"excluido_sem_desempate": 1
|
||||
},
|
||||
"cohen_kappa": {
|
||||
"google.gemini-2.5-pro × openai.gpt-5.5": 0.9862,
|
||||
"google.gemini-2.5-pro × xai.grok-4.3": 0.9816,
|
||||
"openai.gpt-5.5 × xai.grok-4.3": 0.9823
|
||||
},
|
||||
"raw_agreement": 0.984,
|
||||
"agreement_with_generation": 0.9793,
|
||||
"gold_distribution": {
|
||||
"sem_correspondencia": 533,
|
||||
"atendimento_humano": 94,
|
||||
"conta_explicacao": 92,
|
||||
"recarga_nao_creditada": 91,
|
||||
"plano_troca": 88,
|
||||
"conta_contestacao": 87,
|
||||
"internet_consumo": 86,
|
||||
"conta_segunda_via": 86,
|
||||
"roaming_duvida": 86,
|
||||
"negociacao_religacao": 85,
|
||||
"internet_pacote_adicional": 85,
|
||||
"negociacao_divida": 85,
|
||||
"desconto_retencao": 85,
|
||||
"vas_consulta": 85,
|
||||
"vas_cancelamento": 85,
|
||||
"marketplace_pedido": 85,
|
||||
"roaming_cobranca": 84,
|
||||
"seguranca_perda_roubo": 84,
|
||||
"suporte_configuracao": 84,
|
||||
"beneficios_consulta": 84,
|
||||
"recarga_realizar": 84,
|
||||
"troca_numero": 84,
|
||||
"cadastro_atualizacao": 84,
|
||||
"conta_vencimento": 84,
|
||||
"fidelidade_pontos": 83,
|
||||
"marketplace_compra": 83,
|
||||
"fidelidade_resgate": 83,
|
||||
"conta_debito_automatico_digital": 83,
|
||||
"roaming_pacote": 83,
|
||||
"suporte_sem_sinal": 83,
|
||||
"conta_pagamento_confirmacao": 83,
|
||||
"cancelamento_linha": 83,
|
||||
"internet_problema_conexao": 83,
|
||||
"suporte_chip_esim": 83,
|
||||
"bonus_nao_recebido": 83,
|
||||
"portabilidade": 82,
|
||||
"vas_contratacao": 81,
|
||||
"plano_consulta": 81,
|
||||
"parceiros_ofertas": 80,
|
||||
"plano_nova_linha": 79,
|
||||
"seguranca_fraude": 78,
|
||||
"reclamacao_atendimento": 75,
|
||||
"recarga_saldo": 75
|
||||
}
|
||||
}
|
||||
7
reports/datagen/prepare-report.json
Normal file
7
reports/datagen/prepare-report.json
Normal file
@@ -0,0 +1,7 @@
|
||||
{
|
||||
"pii_masked": 4,
|
||||
"excluded_near_dup": 2,
|
||||
"excluded_exact_dup": 9,
|
||||
"generated": 4068,
|
||||
"kept": 4057
|
||||
}
|
||||
222
reports/sanity/oci/gliner-cpu.json
Normal file
222
reports/sanity/oci/gliner-cpu.json
Normal file
@@ -0,0 +1,222 @@
|
||||
{
|
||||
"candidate": {
|
||||
"name": "gliner",
|
||||
"model_id": "gliner@a35a0cd3b7a0",
|
||||
"revision": "a35a0cd3b7a0f00f2effc576f454cd48fa98aa5f",
|
||||
"adapter_version": "0.1.0",
|
||||
"device": "cpu",
|
||||
"context_limit": 4096,
|
||||
"probabilities_source": "native"
|
||||
},
|
||||
"device": "cpu",
|
||||
"load_seconds": 19.49,
|
||||
"conformance": [
|
||||
{
|
||||
"name": "valid_choice_noul",
|
||||
"expected": "ok",
|
||||
"got": "ok"
|
||||
},
|
||||
{
|
||||
"name": "valid_score",
|
||||
"expected": "ok",
|
||||
"got": "ok"
|
||||
},
|
||||
{
|
||||
"name": "valid_state_object",
|
||||
"expected": "ok",
|
||||
"got": "ok"
|
||||
},
|
||||
{
|
||||
"name": "invalid_17_options",
|
||||
"expected": "invalid_request",
|
||||
"got": "invalid_request"
|
||||
},
|
||||
{
|
||||
"name": "invalid_single_option",
|
||||
"expected": "invalid_request",
|
||||
"got": "invalid_request"
|
||||
},
|
||||
{
|
||||
"name": "invalid_noul_missing_false",
|
||||
"expected": "invalid_request",
|
||||
"got": "invalid_request"
|
||||
},
|
||||
{
|
||||
"name": "invalid_unknown_type",
|
||||
"expected": "invalid_request",
|
||||
"got": "invalid_request"
|
||||
},
|
||||
{
|
||||
"name": "invalid_empty_state",
|
||||
"expected": "invalid_request",
|
||||
"got": "invalid_request"
|
||||
},
|
||||
{
|
||||
"name": "invalid_no_questions",
|
||||
"expected": "invalid_request",
|
||||
"got": "invalid_request"
|
||||
},
|
||||
{
|
||||
"name": "invalid_extra_field",
|
||||
"expected": "invalid_request",
|
||||
"got": "invalid_request"
|
||||
}
|
||||
],
|
||||
"sanity": [
|
||||
{
|
||||
"name": "choice:pagamento",
|
||||
"gold": "pagamento",
|
||||
"pred": "pagamento",
|
||||
"latency_ms": 207.2,
|
||||
"answer": {
|
||||
"type": "choice",
|
||||
"choice": "pagamento",
|
||||
"confidence": 0.6344144486132514,
|
||||
"probabilities": {
|
||||
"pagamento": 0.6344144486132514,
|
||||
"cancelamento": 0.016834581647096163,
|
||||
"suporte_tecnico": 0.022163255635572723,
|
||||
"sem_correspondencia": 0.3265877141040798
|
||||
}
|
||||
},
|
||||
"pred_permuted": "pagamento",
|
||||
"permutation_invariant": true,
|
||||
"correct": true
|
||||
},
|
||||
{
|
||||
"name": "choice:cancelamento",
|
||||
"gold": "cancelamento",
|
||||
"pred": "cancelamento",
|
||||
"latency_ms": 206.5,
|
||||
"answer": {
|
||||
"type": "choice",
|
||||
"choice": "cancelamento",
|
||||
"confidence": 0.8718590947504495,
|
||||
"probabilities": {
|
||||
"pagamento": 0.010419044895931304,
|
||||
"cancelamento": 0.8718590947504495,
|
||||
"suporte_tecnico": 0.012619423054256475,
|
||||
"sem_correspondencia": 0.10510243729936272
|
||||
}
|
||||
},
|
||||
"pred_permuted": "cancelamento",
|
||||
"permutation_invariant": true,
|
||||
"correct": true
|
||||
},
|
||||
{
|
||||
"name": "choice:suporte_tecnico",
|
||||
"gold": "suporte_tecnico",
|
||||
"pred": "sem_correspondencia",
|
||||
"latency_ms": 204.3,
|
||||
"answer": {
|
||||
"type": "choice",
|
||||
"choice": "sem_correspondencia",
|
||||
"confidence": 0.634299124256301,
|
||||
"probabilities": {
|
||||
"pagamento": 0.02020097044151347,
|
||||
"cancelamento": 0.04278694633119902,
|
||||
"suporte_tecnico": 0.30271295897098655,
|
||||
"sem_correspondencia": 0.634299124256301
|
||||
}
|
||||
},
|
||||
"pred_permuted": "sem_correspondencia",
|
||||
"permutation_invariant": true,
|
||||
"correct": false
|
||||
},
|
||||
{
|
||||
"name": "choice:sem_correspondencia",
|
||||
"gold": "sem_correspondencia",
|
||||
"pred": "sem_correspondencia",
|
||||
"latency_ms": 194.3,
|
||||
"answer": {
|
||||
"type": "choice",
|
||||
"choice": "sem_correspondencia",
|
||||
"confidence": 0.8604282044571466,
|
||||
"probabilities": {
|
||||
"pagamento": 0.02875952763006619,
|
||||
"cancelamento": 0.0316480618158572,
|
||||
"suporte_tecnico": 0.07916420609692999,
|
||||
"sem_correspondencia": 0.8604282044571466
|
||||
}
|
||||
},
|
||||
"pred_permuted": "sem_correspondencia",
|
||||
"permutation_invariant": true,
|
||||
"correct": true
|
||||
},
|
||||
{
|
||||
"name": "noul:clara",
|
||||
"gold": "true",
|
||||
"pred": "false",
|
||||
"latency_ms": 173.0,
|
||||
"answer": {
|
||||
"type": "noul",
|
||||
"noul": 0.2368284577603868
|
||||
},
|
||||
"correct": false
|
||||
},
|
||||
{
|
||||
"name": "noul:vaga",
|
||||
"gold": "false",
|
||||
"pred": "false",
|
||||
"latency_ms": 166.4,
|
||||
"answer": {
|
||||
"type": "noul",
|
||||
"noul": 0.20341389158881357
|
||||
},
|
||||
"correct": true
|
||||
},
|
||||
{
|
||||
"name": "score:alta",
|
||||
"gold": "2",
|
||||
"pred": "0",
|
||||
"latency_ms": 163.5,
|
||||
"answer": {
|
||||
"type": "score",
|
||||
"score": 0.9812680775305056,
|
||||
"confidence": 0.3614072907390383,
|
||||
"probabilities": {
|
||||
"0": 0.3614072907390383,
|
||||
"1": 0.2959173409914178,
|
||||
"2": 0.34267536826954387
|
||||
},
|
||||
"legend": {
|
||||
"0": "Baixa",
|
||||
"1": "Média",
|
||||
"2": "Alta"
|
||||
}
|
||||
},
|
||||
"correct": false
|
||||
},
|
||||
{
|
||||
"name": "score:baixa",
|
||||
"gold": "0",
|
||||
"pred": "0",
|
||||
"latency_ms": 155.1,
|
||||
"answer": {
|
||||
"type": "score",
|
||||
"score": 0.4816716677697748,
|
||||
"confidence": 0.6750852767416213,
|
||||
"probabilities": {
|
||||
"0": 0.6750852767416213,
|
||||
"1": 0.16815777874698246,
|
||||
"2": 0.15675694451139618
|
||||
},
|
||||
"legend": {
|
||||
"0": "Baixa",
|
||||
"1": "Média",
|
||||
"2": "Alta"
|
||||
}
|
||||
},
|
||||
"correct": true
|
||||
}
|
||||
],
|
||||
"summary": {
|
||||
"contract_violations": [],
|
||||
"sanity_correct": "5/8",
|
||||
"permutation_invariant": "4/4"
|
||||
},
|
||||
"oci": {
|
||||
"region": "us-chicago-1",
|
||||
"run_id": "20261007T153410Z-gliner-sanity"
|
||||
}
|
||||
}
|
||||
223
reports/sanity/oci/gliner-cuda.json
Normal file
223
reports/sanity/oci/gliner-cuda.json
Normal file
@@ -0,0 +1,223 @@
|
||||
{
|
||||
"candidate": {
|
||||
"name": "gliner",
|
||||
"model_id": "gliner@a35a0cd3b7a0",
|
||||
"revision": "a35a0cd3b7a0f00f2effc576f454cd48fa98aa5f",
|
||||
"adapter_version": "0.1.0",
|
||||
"device": "cuda",
|
||||
"context_limit": 4096,
|
||||
"probabilities_source": "native"
|
||||
},
|
||||
"device": "cuda",
|
||||
"load_seconds": 21.32,
|
||||
"process_guard": "ok",
|
||||
"conformance": [
|
||||
{
|
||||
"name": "valid_choice_noul",
|
||||
"expected": "ok",
|
||||
"got": "ok"
|
||||
},
|
||||
{
|
||||
"name": "valid_score",
|
||||
"expected": "ok",
|
||||
"got": "ok"
|
||||
},
|
||||
{
|
||||
"name": "valid_state_object",
|
||||
"expected": "ok",
|
||||
"got": "ok"
|
||||
},
|
||||
{
|
||||
"name": "invalid_17_options",
|
||||
"expected": "invalid_request",
|
||||
"got": "invalid_request"
|
||||
},
|
||||
{
|
||||
"name": "invalid_single_option",
|
||||
"expected": "invalid_request",
|
||||
"got": "invalid_request"
|
||||
},
|
||||
{
|
||||
"name": "invalid_noul_missing_false",
|
||||
"expected": "invalid_request",
|
||||
"got": "invalid_request"
|
||||
},
|
||||
{
|
||||
"name": "invalid_unknown_type",
|
||||
"expected": "invalid_request",
|
||||
"got": "invalid_request"
|
||||
},
|
||||
{
|
||||
"name": "invalid_empty_state",
|
||||
"expected": "invalid_request",
|
||||
"got": "invalid_request"
|
||||
},
|
||||
{
|
||||
"name": "invalid_no_questions",
|
||||
"expected": "invalid_request",
|
||||
"got": "invalid_request"
|
||||
},
|
||||
{
|
||||
"name": "invalid_extra_field",
|
||||
"expected": "invalid_request",
|
||||
"got": "invalid_request"
|
||||
}
|
||||
],
|
||||
"sanity": [
|
||||
{
|
||||
"name": "choice:pagamento",
|
||||
"gold": "pagamento",
|
||||
"pred": "pagamento",
|
||||
"latency_ms": 16.4,
|
||||
"answer": {
|
||||
"type": "choice",
|
||||
"choice": "pagamento",
|
||||
"confidence": 0.6344155822832185,
|
||||
"probabilities": {
|
||||
"pagamento": 0.6344155822832185,
|
||||
"cancelamento": 0.016834572365227046,
|
||||
"suporte_tecnico": 0.022163173720466455,
|
||||
"sem_correspondencia": 0.32658667163108795
|
||||
}
|
||||
},
|
||||
"pred_permuted": "pagamento",
|
||||
"permutation_invariant": true,
|
||||
"correct": true
|
||||
},
|
||||
{
|
||||
"name": "choice:cancelamento",
|
||||
"gold": "cancelamento",
|
||||
"pred": "cancelamento",
|
||||
"latency_ms": 16.1,
|
||||
"answer": {
|
||||
"type": "choice",
|
||||
"choice": "cancelamento",
|
||||
"confidence": 0.8718585964717693,
|
||||
"probabilities": {
|
||||
"pagamento": 0.010419094712095255,
|
||||
"cancelamento": 0.8718585964717693,
|
||||
"suporte_tecnico": 0.012619434782507587,
|
||||
"sem_correspondencia": 0.10510287403362785
|
||||
}
|
||||
},
|
||||
"pred_permuted": "cancelamento",
|
||||
"permutation_invariant": true,
|
||||
"correct": true
|
||||
},
|
||||
{
|
||||
"name": "choice:suporte_tecnico",
|
||||
"gold": "suporte_tecnico",
|
||||
"pred": "sem_correspondencia",
|
||||
"latency_ms": 16.9,
|
||||
"answer": {
|
||||
"type": "choice",
|
||||
"choice": "sem_correspondencia",
|
||||
"confidence": 0.6342994187351121,
|
||||
"probabilities": {
|
||||
"pagamento": 0.02020120315928321,
|
||||
"cancelamento": 0.04278698707030298,
|
||||
"suporte_tecnico": 0.3027123910353017,
|
||||
"sem_correspondencia": 0.6342994187351121
|
||||
}
|
||||
},
|
||||
"pred_permuted": "sem_correspondencia",
|
||||
"permutation_invariant": true,
|
||||
"correct": false
|
||||
},
|
||||
{
|
||||
"name": "choice:sem_correspondencia",
|
||||
"gold": "sem_correspondencia",
|
||||
"pred": "sem_correspondencia",
|
||||
"latency_ms": 15.5,
|
||||
"answer": {
|
||||
"type": "choice",
|
||||
"choice": "sem_correspondencia",
|
||||
"confidence": 0.8604289616881081,
|
||||
"probabilities": {
|
||||
"pagamento": 0.028759510277003655,
|
||||
"cancelamento": 0.0316479121558098,
|
||||
"suporte_tecnico": 0.07916361587907846,
|
||||
"sem_correspondencia": 0.8604289616881081
|
||||
}
|
||||
},
|
||||
"pred_permuted": "sem_correspondencia",
|
||||
"permutation_invariant": true,
|
||||
"correct": true
|
||||
},
|
||||
{
|
||||
"name": "noul:clara",
|
||||
"gold": "true",
|
||||
"pred": "false",
|
||||
"latency_ms": 16.1,
|
||||
"answer": {
|
||||
"type": "noul",
|
||||
"noul": 0.2368276601557085
|
||||
},
|
||||
"correct": false
|
||||
},
|
||||
{
|
||||
"name": "noul:vaga",
|
||||
"gold": "false",
|
||||
"pred": "false",
|
||||
"latency_ms": 16.4,
|
||||
"answer": {
|
||||
"type": "noul",
|
||||
"noul": 0.20341337939580556
|
||||
},
|
||||
"correct": true
|
||||
},
|
||||
{
|
||||
"name": "score:alta",
|
||||
"gold": "2",
|
||||
"pred": "0",
|
||||
"latency_ms": 16.5,
|
||||
"answer": {
|
||||
"type": "score",
|
||||
"score": 0.9812681382516582,
|
||||
"confidence": 0.3614074480114148,
|
||||
"probabilities": {
|
||||
"0": 0.3614074480114148,
|
||||
"1": 0.29591696572551235,
|
||||
"2": 0.3426755862630729
|
||||
},
|
||||
"legend": {
|
||||
"0": "Baixa",
|
||||
"1": "Média",
|
||||
"2": "Alta"
|
||||
}
|
||||
},
|
||||
"correct": false
|
||||
},
|
||||
{
|
||||
"name": "score:baixa",
|
||||
"gold": "0",
|
||||
"pred": "0",
|
||||
"latency_ms": 15.9,
|
||||
"answer": {
|
||||
"type": "score",
|
||||
"score": 0.48167205020737197,
|
||||
"confidence": 0.6750848881824415,
|
||||
"probabilities": {
|
||||
"0": 0.6750848881824415,
|
||||
"1": 0.16815817342774508,
|
||||
"2": 0.15675693838981344
|
||||
},
|
||||
"legend": {
|
||||
"0": "Baixa",
|
||||
"1": "Média",
|
||||
"2": "Alta"
|
||||
}
|
||||
},
|
||||
"correct": true
|
||||
}
|
||||
],
|
||||
"summary": {
|
||||
"contract_violations": [],
|
||||
"sanity_correct": "5/8",
|
||||
"permutation_invariant": "4/4"
|
||||
},
|
||||
"oci": {
|
||||
"region": "sa-saopaulo-1",
|
||||
"run_id": "20261007T162549Z-gliner-sanity"
|
||||
}
|
||||
}
|
||||
222
reports/sanity/oci/laya-cpu.json
Normal file
222
reports/sanity/oci/laya-cpu.json
Normal file
@@ -0,0 +1,222 @@
|
||||
{
|
||||
"candidate": {
|
||||
"name": "laya",
|
||||
"model_id": "laya@1720e3e3357c",
|
||||
"revision": "1720e3e3357cfe1e281542e223f8273b0890ca34",
|
||||
"adapter_version": "0.1.0",
|
||||
"device": "cpu",
|
||||
"context_limit": 1024,
|
||||
"probabilities_source": "native"
|
||||
},
|
||||
"device": "cpu",
|
||||
"load_seconds": 12.29,
|
||||
"conformance": [
|
||||
{
|
||||
"name": "valid_choice_noul",
|
||||
"expected": "ok",
|
||||
"got": "ok"
|
||||
},
|
||||
{
|
||||
"name": "valid_score",
|
||||
"expected": "ok",
|
||||
"got": "ok"
|
||||
},
|
||||
{
|
||||
"name": "valid_state_object",
|
||||
"expected": "ok",
|
||||
"got": "ok"
|
||||
},
|
||||
{
|
||||
"name": "invalid_17_options",
|
||||
"expected": "invalid_request",
|
||||
"got": "invalid_request"
|
||||
},
|
||||
{
|
||||
"name": "invalid_single_option",
|
||||
"expected": "invalid_request",
|
||||
"got": "invalid_request"
|
||||
},
|
||||
{
|
||||
"name": "invalid_noul_missing_false",
|
||||
"expected": "invalid_request",
|
||||
"got": "invalid_request"
|
||||
},
|
||||
{
|
||||
"name": "invalid_unknown_type",
|
||||
"expected": "invalid_request",
|
||||
"got": "invalid_request"
|
||||
},
|
||||
{
|
||||
"name": "invalid_empty_state",
|
||||
"expected": "invalid_request",
|
||||
"got": "invalid_request"
|
||||
},
|
||||
{
|
||||
"name": "invalid_no_questions",
|
||||
"expected": "invalid_request",
|
||||
"got": "invalid_request"
|
||||
},
|
||||
{
|
||||
"name": "invalid_extra_field",
|
||||
"expected": "invalid_request",
|
||||
"got": "invalid_request"
|
||||
}
|
||||
],
|
||||
"sanity": [
|
||||
{
|
||||
"name": "choice:pagamento",
|
||||
"gold": "pagamento",
|
||||
"pred": "pagamento",
|
||||
"latency_ms": 140.1,
|
||||
"answer": {
|
||||
"type": "choice",
|
||||
"choice": "pagamento",
|
||||
"confidence": 0.9977,
|
||||
"probabilities": {
|
||||
"pagamento": 0.9997979802020598,
|
||||
"cancelamento": 1.0000980096049412e-06,
|
||||
"suporte_tecnico": 1.0000980096049412e-06,
|
||||
"sem_correspondencia": 0.00020001960192098824
|
||||
}
|
||||
},
|
||||
"pred_permuted": "pagamento",
|
||||
"permutation_invariant": true,
|
||||
"correct": true
|
||||
},
|
||||
{
|
||||
"name": "choice:cancelamento",
|
||||
"gold": "cancelamento",
|
||||
"pred": "cancelamento",
|
||||
"latency_ms": 124.9,
|
||||
"answer": {
|
||||
"type": "choice",
|
||||
"choice": "cancelamento",
|
||||
"confidence": 1.0,
|
||||
"probabilities": {
|
||||
"pagamento": 9.999970000090002e-07,
|
||||
"cancelamento": 0.9999970000090003,
|
||||
"suporte_tecnico": 9.999970000090002e-07,
|
||||
"sem_correspondencia": 9.999970000090002e-07
|
||||
}
|
||||
},
|
||||
"pred_permuted": "cancelamento",
|
||||
"permutation_invariant": true,
|
||||
"correct": true
|
||||
},
|
||||
{
|
||||
"name": "choice:suporte_tecnico",
|
||||
"gold": "suporte_tecnico",
|
||||
"pred": "suporte_tecnico",
|
||||
"latency_ms": 142.7,
|
||||
"answer": {
|
||||
"type": "choice",
|
||||
"choice": "suporte_tecnico",
|
||||
"confidence": 0.2935,
|
||||
"probabilities": {
|
||||
"pagamento": 0.0496049604960496,
|
||||
"cancelamento": 0.047204720472047206,
|
||||
"suporte_tecnico": 0.5706570657065706,
|
||||
"sem_correspondencia": 0.33253325332533257
|
||||
}
|
||||
},
|
||||
"pred_permuted": "suporte_tecnico",
|
||||
"permutation_invariant": true,
|
||||
"correct": true
|
||||
},
|
||||
{
|
||||
"name": "choice:sem_correspondencia",
|
||||
"gold": "sem_correspondencia",
|
||||
"pred": "sem_correspondencia",
|
||||
"latency_ms": 137.6,
|
||||
"answer": {
|
||||
"type": "choice",
|
||||
"choice": "sem_correspondencia",
|
||||
"confidence": 0.7909,
|
||||
"probabilities": {
|
||||
"pagamento": 0.0034996500349965005,
|
||||
"cancelamento": 0.0044995500449955,
|
||||
"suporte_tecnico": 0.0642935706429357,
|
||||
"sem_correspondencia": 0.9277072292770723
|
||||
}
|
||||
},
|
||||
"pred_permuted": "sem_correspondencia",
|
||||
"permutation_invariant": true,
|
||||
"correct": true
|
||||
},
|
||||
{
|
||||
"name": "noul:clara",
|
||||
"gold": "true",
|
||||
"pred": "true",
|
||||
"latency_ms": 107.2,
|
||||
"answer": {
|
||||
"type": "noul",
|
||||
"noul": 0.9982
|
||||
},
|
||||
"correct": true
|
||||
},
|
||||
{
|
||||
"name": "noul:vaga",
|
||||
"gold": "false",
|
||||
"pred": "false",
|
||||
"latency_ms": 106.4,
|
||||
"answer": {
|
||||
"type": "noul",
|
||||
"noul": 0.1563
|
||||
},
|
||||
"correct": true
|
||||
},
|
||||
{
|
||||
"name": "score:alta",
|
||||
"gold": "2",
|
||||
"pred": "2",
|
||||
"latency_ms": 113.8,
|
||||
"answer": {
|
||||
"type": "score",
|
||||
"score": 1.1202,
|
||||
"confidence": 0.01,
|
||||
"probabilities": {
|
||||
"0": 0.2718,
|
||||
"1": 0.3362,
|
||||
"2": 0.392
|
||||
},
|
||||
"legend": {
|
||||
"0": "Baixa",
|
||||
"1": "Média",
|
||||
"2": "Alta"
|
||||
}
|
||||
},
|
||||
"correct": true
|
||||
},
|
||||
{
|
||||
"name": "score:baixa",
|
||||
"gold": "0",
|
||||
"pred": "1",
|
||||
"latency_ms": 116.9,
|
||||
"answer": {
|
||||
"type": "score",
|
||||
"score": 1.0998999999999999,
|
||||
"confidence": 0.1514,
|
||||
"probabilities": {
|
||||
"0": 0.1477,
|
||||
"1": 0.6047,
|
||||
"2": 0.2476
|
||||
},
|
||||
"legend": {
|
||||
"0": "Baixa",
|
||||
"1": "Média",
|
||||
"2": "Alta"
|
||||
}
|
||||
},
|
||||
"correct": false
|
||||
}
|
||||
],
|
||||
"summary": {
|
||||
"contract_violations": [],
|
||||
"sanity_correct": "7/8",
|
||||
"permutation_invariant": "4/4"
|
||||
},
|
||||
"oci": {
|
||||
"region": "us-chicago-1",
|
||||
"run_id": "20261007T154451Z-laya-sanity"
|
||||
}
|
||||
}
|
||||
223
reports/sanity/oci/laya-cuda.json
Normal file
223
reports/sanity/oci/laya-cuda.json
Normal file
@@ -0,0 +1,223 @@
|
||||
{
|
||||
"candidate": {
|
||||
"name": "laya",
|
||||
"model_id": "laya@1720e3e3357c",
|
||||
"revision": "1720e3e3357cfe1e281542e223f8273b0890ca34",
|
||||
"adapter_version": "0.1.0",
|
||||
"device": "cuda",
|
||||
"context_limit": 1024,
|
||||
"probabilities_source": "native"
|
||||
},
|
||||
"device": "cuda",
|
||||
"load_seconds": 8.01,
|
||||
"process_guard": "ok",
|
||||
"conformance": [
|
||||
{
|
||||
"name": "valid_choice_noul",
|
||||
"expected": "ok",
|
||||
"got": "ok"
|
||||
},
|
||||
{
|
||||
"name": "valid_score",
|
||||
"expected": "ok",
|
||||
"got": "ok"
|
||||
},
|
||||
{
|
||||
"name": "valid_state_object",
|
||||
"expected": "ok",
|
||||
"got": "ok"
|
||||
},
|
||||
{
|
||||
"name": "invalid_17_options",
|
||||
"expected": "invalid_request",
|
||||
"got": "invalid_request"
|
||||
},
|
||||
{
|
||||
"name": "invalid_single_option",
|
||||
"expected": "invalid_request",
|
||||
"got": "invalid_request"
|
||||
},
|
||||
{
|
||||
"name": "invalid_noul_missing_false",
|
||||
"expected": "invalid_request",
|
||||
"got": "invalid_request"
|
||||
},
|
||||
{
|
||||
"name": "invalid_unknown_type",
|
||||
"expected": "invalid_request",
|
||||
"got": "invalid_request"
|
||||
},
|
||||
{
|
||||
"name": "invalid_empty_state",
|
||||
"expected": "invalid_request",
|
||||
"got": "invalid_request"
|
||||
},
|
||||
{
|
||||
"name": "invalid_no_questions",
|
||||
"expected": "invalid_request",
|
||||
"got": "invalid_request"
|
||||
},
|
||||
{
|
||||
"name": "invalid_extra_field",
|
||||
"expected": "invalid_request",
|
||||
"got": "invalid_request"
|
||||
}
|
||||
],
|
||||
"sanity": [
|
||||
{
|
||||
"name": "choice:pagamento",
|
||||
"gold": "pagamento",
|
||||
"pred": "pagamento",
|
||||
"latency_ms": 20.8,
|
||||
"answer": {
|
||||
"type": "choice",
|
||||
"choice": "pagamento",
|
||||
"confidence": 0.9977,
|
||||
"probabilities": {
|
||||
"pagamento": 0.9997979802020598,
|
||||
"cancelamento": 1.0000980096049412e-06,
|
||||
"suporte_tecnico": 1.0000980096049412e-06,
|
||||
"sem_correspondencia": 0.00020001960192098824
|
||||
}
|
||||
},
|
||||
"pred_permuted": "pagamento",
|
||||
"permutation_invariant": true,
|
||||
"correct": true
|
||||
},
|
||||
{
|
||||
"name": "choice:cancelamento",
|
||||
"gold": "cancelamento",
|
||||
"pred": "cancelamento",
|
||||
"latency_ms": 20.1,
|
||||
"answer": {
|
||||
"type": "choice",
|
||||
"choice": "cancelamento",
|
||||
"confidence": 1.0,
|
||||
"probabilities": {
|
||||
"pagamento": 9.999970000090002e-07,
|
||||
"cancelamento": 0.9999970000090003,
|
||||
"suporte_tecnico": 9.999970000090002e-07,
|
||||
"sem_correspondencia": 9.999970000090002e-07
|
||||
}
|
||||
},
|
||||
"pred_permuted": "cancelamento",
|
||||
"permutation_invariant": true,
|
||||
"correct": true
|
||||
},
|
||||
{
|
||||
"name": "choice:suporte_tecnico",
|
||||
"gold": "suporte_tecnico",
|
||||
"pred": "suporte_tecnico",
|
||||
"latency_ms": 21.0,
|
||||
"answer": {
|
||||
"type": "choice",
|
||||
"choice": "suporte_tecnico",
|
||||
"confidence": 0.292,
|
||||
"probabilities": {
|
||||
"pagamento": 0.0487,
|
||||
"cancelamento": 0.0457,
|
||||
"suporte_tecnico": 0.557,
|
||||
"sem_correspondencia": 0.3486
|
||||
}
|
||||
},
|
||||
"pred_permuted": "suporte_tecnico",
|
||||
"permutation_invariant": true,
|
||||
"correct": true
|
||||
},
|
||||
{
|
||||
"name": "choice:sem_correspondencia",
|
||||
"gold": "sem_correspondencia",
|
||||
"pred": "sem_correspondencia",
|
||||
"latency_ms": 20.5,
|
||||
"answer": {
|
||||
"type": "choice",
|
||||
"choice": "sem_correspondencia",
|
||||
"confidence": 0.7962,
|
||||
"probabilities": {
|
||||
"pagamento": 0.0032,
|
||||
"cancelamento": 0.0044,
|
||||
"suporte_tecnico": 0.0623,
|
||||
"sem_correspondencia": 0.9301
|
||||
}
|
||||
},
|
||||
"pred_permuted": "sem_correspondencia",
|
||||
"permutation_invariant": true,
|
||||
"correct": true
|
||||
},
|
||||
{
|
||||
"name": "noul:clara",
|
||||
"gold": "true",
|
||||
"pred": "true",
|
||||
"latency_ms": 20.8,
|
||||
"answer": {
|
||||
"type": "noul",
|
||||
"noul": 0.9981
|
||||
},
|
||||
"correct": true
|
||||
},
|
||||
{
|
||||
"name": "noul:vaga",
|
||||
"gold": "false",
|
||||
"pred": "false",
|
||||
"latency_ms": 20.1,
|
||||
"answer": {
|
||||
"type": "noul",
|
||||
"noul": 0.1546
|
||||
},
|
||||
"correct": true
|
||||
},
|
||||
{
|
||||
"name": "score:alta",
|
||||
"gold": "2",
|
||||
"pred": "2",
|
||||
"latency_ms": 20.9,
|
||||
"answer": {
|
||||
"type": "score",
|
||||
"score": 1.123,
|
||||
"confidence": 0.0105,
|
||||
"probabilities": {
|
||||
"0": 0.2703,
|
||||
"1": 0.3364,
|
||||
"2": 0.3933
|
||||
},
|
||||
"legend": {
|
||||
"0": "Baixa",
|
||||
"1": "Média",
|
||||
"2": "Alta"
|
||||
}
|
||||
},
|
||||
"correct": true
|
||||
},
|
||||
{
|
||||
"name": "score:baixa",
|
||||
"gold": "0",
|
||||
"pred": "1",
|
||||
"latency_ms": 21.0,
|
||||
"answer": {
|
||||
"type": "score",
|
||||
"score": 1.1033,
|
||||
"confidence": 0.1552,
|
||||
"probabilities": {
|
||||
"0": 0.1446,
|
||||
"1": 0.6075,
|
||||
"2": 0.2479
|
||||
},
|
||||
"legend": {
|
||||
"0": "Baixa",
|
||||
"1": "Média",
|
||||
"2": "Alta"
|
||||
}
|
||||
},
|
||||
"correct": false
|
||||
}
|
||||
],
|
||||
"summary": {
|
||||
"contract_violations": [],
|
||||
"sanity_correct": "7/8",
|
||||
"permutation_invariant": "4/4"
|
||||
},
|
||||
"oci": {
|
||||
"region": "sa-saopaulo-1",
|
||||
"run_id": "20261007T162118Z-laya-sanity"
|
||||
}
|
||||
}
|
||||
222
reports/sanity/oci/rizzo_flow-cpu.json
Normal file
222
reports/sanity/oci/rizzo_flow-cpu.json
Normal file
@@ -0,0 +1,222 @@
|
||||
{
|
||||
"candidate": {
|
||||
"name": "rizzo_flow",
|
||||
"model_id": "rizzo_flow@55633c8cbd2b",
|
||||
"revision": "55633c8cbd2b826bd3eefdeb05310450996649df",
|
||||
"adapter_version": "0.1.0",
|
||||
"device": "cpu",
|
||||
"context_limit": 2048,
|
||||
"probabilities_source": "native"
|
||||
},
|
||||
"device": "cpu",
|
||||
"load_seconds": 4.32,
|
||||
"conformance": [
|
||||
{
|
||||
"name": "valid_choice_noul",
|
||||
"expected": "ok",
|
||||
"got": "ok"
|
||||
},
|
||||
{
|
||||
"name": "valid_score",
|
||||
"expected": "ok",
|
||||
"got": "ok"
|
||||
},
|
||||
{
|
||||
"name": "valid_state_object",
|
||||
"expected": "ok",
|
||||
"got": "ok"
|
||||
},
|
||||
{
|
||||
"name": "invalid_17_options",
|
||||
"expected": "invalid_request",
|
||||
"got": "invalid_request"
|
||||
},
|
||||
{
|
||||
"name": "invalid_single_option",
|
||||
"expected": "invalid_request",
|
||||
"got": "invalid_request"
|
||||
},
|
||||
{
|
||||
"name": "invalid_noul_missing_false",
|
||||
"expected": "invalid_request",
|
||||
"got": "invalid_request"
|
||||
},
|
||||
{
|
||||
"name": "invalid_unknown_type",
|
||||
"expected": "invalid_request",
|
||||
"got": "invalid_request"
|
||||
},
|
||||
{
|
||||
"name": "invalid_empty_state",
|
||||
"expected": "invalid_request",
|
||||
"got": "invalid_request"
|
||||
},
|
||||
{
|
||||
"name": "invalid_no_questions",
|
||||
"expected": "invalid_request",
|
||||
"got": "invalid_request"
|
||||
},
|
||||
{
|
||||
"name": "invalid_extra_field",
|
||||
"expected": "invalid_request",
|
||||
"got": "invalid_request"
|
||||
}
|
||||
],
|
||||
"sanity": [
|
||||
{
|
||||
"name": "choice:pagamento",
|
||||
"gold": "pagamento",
|
||||
"pred": "pagamento",
|
||||
"latency_ms": 7381.4,
|
||||
"answer": {
|
||||
"type": "choice",
|
||||
"choice": "pagamento",
|
||||
"confidence": 0.9939581449644033,
|
||||
"probabilities": {
|
||||
"pagamento": 0.9954686087233022,
|
||||
"cancelamento": 0.0014294878384867884,
|
||||
"suporte_tecnico": 0.0006663578744809516,
|
||||
"sem_correspondencia": 0.002435545563729951
|
||||
}
|
||||
},
|
||||
"pred_permuted": "pagamento",
|
||||
"permutation_invariant": true,
|
||||
"correct": true
|
||||
},
|
||||
{
|
||||
"name": "choice:cancelamento",
|
||||
"gold": "cancelamento",
|
||||
"pred": "cancelamento",
|
||||
"latency_ms": 7903.2,
|
||||
"answer": {
|
||||
"type": "choice",
|
||||
"choice": "cancelamento",
|
||||
"confidence": 0.9959894668208951,
|
||||
"probabilities": {
|
||||
"pagamento": 0.0006611097629735292,
|
||||
"cancelamento": 0.9969921001156713,
|
||||
"suporte_tecnico": 0.0005694308917635679,
|
||||
"sem_correspondencia": 0.0017773592295916517
|
||||
}
|
||||
},
|
||||
"pred_permuted": "cancelamento",
|
||||
"permutation_invariant": true,
|
||||
"correct": true
|
||||
},
|
||||
{
|
||||
"name": "choice:suporte_tecnico",
|
||||
"gold": "suporte_tecnico",
|
||||
"pred": "suporte_tecnico",
|
||||
"latency_ms": 7312.8,
|
||||
"answer": {
|
||||
"type": "choice",
|
||||
"choice": "suporte_tecnico",
|
||||
"confidence": 0.9550325369120003,
|
||||
"probabilities": {
|
||||
"pagamento": 0.0009793333603067293,
|
||||
"cancelamento": 0.002014121845135763,
|
||||
"suporte_tecnico": 0.9662744026840004,
|
||||
"sem_correspondencia": 0.030732142110557085
|
||||
}
|
||||
},
|
||||
"pred_permuted": "suporte_tecnico",
|
||||
"permutation_invariant": true,
|
||||
"correct": true
|
||||
},
|
||||
{
|
||||
"name": "choice:sem_correspondencia",
|
||||
"gold": "sem_correspondencia",
|
||||
"pred": "sem_correspondencia",
|
||||
"latency_ms": 7599.3,
|
||||
"answer": {
|
||||
"type": "choice",
|
||||
"choice": "sem_correspondencia",
|
||||
"confidence": 0.9885549303273677,
|
||||
"probabilities": {
|
||||
"pagamento": 0.0036670988032871665,
|
||||
"cancelamento": 0.0022098453219148453,
|
||||
"suporte_tecnico": 0.002706858129272241,
|
||||
"sem_correspondencia": 0.9914161977455258
|
||||
}
|
||||
},
|
||||
"pred_permuted": "sem_correspondencia",
|
||||
"permutation_invariant": true,
|
||||
"correct": true
|
||||
},
|
||||
{
|
||||
"name": "noul:clara",
|
||||
"gold": "true",
|
||||
"pred": "true",
|
||||
"latency_ms": 6481.8,
|
||||
"answer": {
|
||||
"type": "noul",
|
||||
"noul": 0.9479776743420092
|
||||
},
|
||||
"correct": true
|
||||
},
|
||||
{
|
||||
"name": "noul:vaga",
|
||||
"gold": "false",
|
||||
"pred": "true",
|
||||
"latency_ms": 6144.2,
|
||||
"answer": {
|
||||
"type": "noul",
|
||||
"noul": 0.5076455176696537
|
||||
},
|
||||
"correct": false
|
||||
},
|
||||
{
|
||||
"name": "score:alta",
|
||||
"gold": "2",
|
||||
"pred": "2",
|
||||
"latency_ms": 5982.9,
|
||||
"answer": {
|
||||
"type": "score",
|
||||
"score": 1.9453121647986211,
|
||||
"confidence": 0.9510302861376827,
|
||||
"probabilities": {
|
||||
"0": 0.02204135929316713,
|
||||
"1": 0.01060511661504444,
|
||||
"2": 0.9673535240917883
|
||||
},
|
||||
"legend": {
|
||||
"0": "Baixa",
|
||||
"1": "Média",
|
||||
"2": "Alta"
|
||||
}
|
||||
},
|
||||
"correct": true
|
||||
},
|
||||
{
|
||||
"name": "score:baixa",
|
||||
"gold": "0",
|
||||
"pred": "0",
|
||||
"latency_ms": 6279.1,
|
||||
"answer": {
|
||||
"type": "score",
|
||||
"score": 0.26957479262097783,
|
||||
"confidence": 0.6046525975421342,
|
||||
"probabilities": {
|
||||
"0": 0.7364350650280896,
|
||||
"1": 0.2575550773228431,
|
||||
"2": 0.0060098576490673645
|
||||
},
|
||||
"legend": {
|
||||
"0": "Baixa",
|
||||
"1": "Média",
|
||||
"2": "Alta"
|
||||
}
|
||||
},
|
||||
"correct": true
|
||||
}
|
||||
],
|
||||
"summary": {
|
||||
"contract_violations": [],
|
||||
"sanity_correct": "7/8",
|
||||
"permutation_invariant": "4/4"
|
||||
},
|
||||
"oci": {
|
||||
"region": "us-chicago-1",
|
||||
"run_id": "20261007T152414Z-rizzo_flow-sanity"
|
||||
}
|
||||
}
|
||||
223
reports/sanity/oci/rizzo_flow-cuda.json
Normal file
223
reports/sanity/oci/rizzo_flow-cuda.json
Normal file
@@ -0,0 +1,223 @@
|
||||
{
|
||||
"candidate": {
|
||||
"name": "rizzo_flow",
|
||||
"model_id": "rizzo_flow@55633c8cbd2b",
|
||||
"revision": "55633c8cbd2b826bd3eefdeb05310450996649df",
|
||||
"adapter_version": "0.1.0",
|
||||
"device": "cuda",
|
||||
"context_limit": 2048,
|
||||
"probabilities_source": "native"
|
||||
},
|
||||
"device": "cuda",
|
||||
"load_seconds": 5.3,
|
||||
"process_guard": "ok",
|
||||
"conformance": [
|
||||
{
|
||||
"name": "valid_choice_noul",
|
||||
"expected": "ok",
|
||||
"got": "ok"
|
||||
},
|
||||
{
|
||||
"name": "valid_score",
|
||||
"expected": "ok",
|
||||
"got": "ok"
|
||||
},
|
||||
{
|
||||
"name": "valid_state_object",
|
||||
"expected": "ok",
|
||||
"got": "ok"
|
||||
},
|
||||
{
|
||||
"name": "invalid_17_options",
|
||||
"expected": "invalid_request",
|
||||
"got": "invalid_request"
|
||||
},
|
||||
{
|
||||
"name": "invalid_single_option",
|
||||
"expected": "invalid_request",
|
||||
"got": "invalid_request"
|
||||
},
|
||||
{
|
||||
"name": "invalid_noul_missing_false",
|
||||
"expected": "invalid_request",
|
||||
"got": "invalid_request"
|
||||
},
|
||||
{
|
||||
"name": "invalid_unknown_type",
|
||||
"expected": "invalid_request",
|
||||
"got": "invalid_request"
|
||||
},
|
||||
{
|
||||
"name": "invalid_empty_state",
|
||||
"expected": "invalid_request",
|
||||
"got": "invalid_request"
|
||||
},
|
||||
{
|
||||
"name": "invalid_no_questions",
|
||||
"expected": "invalid_request",
|
||||
"got": "invalid_request"
|
||||
},
|
||||
{
|
||||
"name": "invalid_extra_field",
|
||||
"expected": "invalid_request",
|
||||
"got": "invalid_request"
|
||||
}
|
||||
],
|
||||
"sanity": [
|
||||
{
|
||||
"name": "choice:pagamento",
|
||||
"gold": "pagamento",
|
||||
"pred": "pagamento",
|
||||
"latency_ms": 62.3,
|
||||
"answer": {
|
||||
"type": "choice",
|
||||
"choice": "pagamento",
|
||||
"confidence": 0.9937313892294425,
|
||||
"probabilities": {
|
||||
"pagamento": 0.9952985419220819,
|
||||
"cancelamento": 0.0014555718031770129,
|
||||
"suporte_tecnico": 0.0007138147545963065,
|
||||
"sem_correspondencia": 0.0025320715201448793
|
||||
}
|
||||
},
|
||||
"pred_permuted": "pagamento",
|
||||
"permutation_invariant": true,
|
||||
"correct": true
|
||||
},
|
||||
{
|
||||
"name": "choice:cancelamento",
|
||||
"gold": "cancelamento",
|
||||
"pred": "cancelamento",
|
||||
"latency_ms": 66.4,
|
||||
"answer": {
|
||||
"type": "choice",
|
||||
"choice": "cancelamento",
|
||||
"confidence": 0.9958236126678967,
|
||||
"probabilities": {
|
||||
"pagamento": 0.000736589116875824,
|
||||
"cancelamento": 0.9968677095009225,
|
||||
"suporte_tecnico": 0.000579527206419017,
|
||||
"sem_correspondencia": 0.0018161741757827666
|
||||
}
|
||||
},
|
||||
"pred_permuted": "cancelamento",
|
||||
"permutation_invariant": true,
|
||||
"correct": true
|
||||
},
|
||||
{
|
||||
"name": "choice:suporte_tecnico",
|
||||
"gold": "suporte_tecnico",
|
||||
"pred": "suporte_tecnico",
|
||||
"latency_ms": 64.4,
|
||||
"answer": {
|
||||
"type": "choice",
|
||||
"choice": "suporte_tecnico",
|
||||
"confidence": 0.9535000077378192,
|
||||
"probabilities": {
|
||||
"pagamento": 0.001133195848223361,
|
||||
"cancelamento": 0.0021639955558770034,
|
||||
"suporte_tecnico": 0.9651250058033644,
|
||||
"sem_correspondencia": 0.031577802792535394
|
||||
}
|
||||
},
|
||||
"pred_permuted": "suporte_tecnico",
|
||||
"permutation_invariant": true,
|
||||
"correct": true
|
||||
},
|
||||
{
|
||||
"name": "choice:sem_correspondencia",
|
||||
"gold": "sem_correspondencia",
|
||||
"pred": "sem_correspondencia",
|
||||
"latency_ms": 66.7,
|
||||
"answer": {
|
||||
"type": "choice",
|
||||
"choice": "sem_correspondencia",
|
||||
"confidence": 0.9874519299503838,
|
||||
"probabilities": {
|
||||
"pagamento": 0.004033476792992324,
|
||||
"cancelamento": 0.0025021007457173418,
|
||||
"suporte_tecnico": 0.0028754749985024732,
|
||||
"sem_correspondencia": 0.9905889474627878
|
||||
}
|
||||
},
|
||||
"pred_permuted": "sem_correspondencia",
|
||||
"permutation_invariant": true,
|
||||
"correct": true
|
||||
},
|
||||
{
|
||||
"name": "noul:clara",
|
||||
"gold": "true",
|
||||
"pred": "true",
|
||||
"latency_ms": 61.8,
|
||||
"answer": {
|
||||
"type": "noul",
|
||||
"noul": 0.947542960858974
|
||||
},
|
||||
"correct": true
|
||||
},
|
||||
{
|
||||
"name": "noul:vaga",
|
||||
"gold": "false",
|
||||
"pred": "false",
|
||||
"latency_ms": 55.3,
|
||||
"answer": {
|
||||
"type": "noul",
|
||||
"noul": 0.4973615950856545
|
||||
},
|
||||
"correct": true
|
||||
},
|
||||
{
|
||||
"name": "score:alta",
|
||||
"gold": "2",
|
||||
"pred": "2",
|
||||
"latency_ms": 55.9,
|
||||
"answer": {
|
||||
"type": "score",
|
||||
"score": 1.9423142016746011,
|
||||
"confidence": 0.9482293944199722,
|
||||
"probabilities": {
|
||||
"0": 0.023172061272047177,
|
||||
"1": 0.011341675781304721,
|
||||
"2": 0.9654862629466482
|
||||
},
|
||||
"legend": {
|
||||
"0": "Baixa",
|
||||
"1": "Média",
|
||||
"2": "Alta"
|
||||
}
|
||||
},
|
||||
"correct": true
|
||||
},
|
||||
{
|
||||
"name": "score:baixa",
|
||||
"gold": "0",
|
||||
"pred": "0",
|
||||
"latency_ms": 55.1,
|
||||
"answer": {
|
||||
"type": "score",
|
||||
"score": 0.2562808099480609,
|
||||
"confidence": 0.624089907903691,
|
||||
"probabilities": {
|
||||
"0": 0.7493932719357941,
|
||||
"1": 0.244932646180351,
|
||||
"2": 0.005674081883854951
|
||||
},
|
||||
"legend": {
|
||||
"0": "Baixa",
|
||||
"1": "Média",
|
||||
"2": "Alta"
|
||||
}
|
||||
},
|
||||
"correct": true
|
||||
}
|
||||
],
|
||||
"summary": {
|
||||
"contract_violations": [],
|
||||
"sanity_correct": "8/8",
|
||||
"permutation_invariant": "4/4"
|
||||
},
|
||||
"oci": {
|
||||
"region": "sa-saopaulo-1",
|
||||
"run_id": "20261007T171106Z-rizzo_flow-sanity"
|
||||
}
|
||||
}
|
||||
222
reports/sanity/oci/semif-cpu.json
Normal file
222
reports/sanity/oci/semif-cpu.json
Normal file
@@ -0,0 +1,222 @@
|
||||
{
|
||||
"candidate": {
|
||||
"name": "semif",
|
||||
"model_id": "semif@851bf6e806ef",
|
||||
"revision": "851bf6e806efd8d0a36b00ddf55e13ccb7b8cd0a",
|
||||
"adapter_version": "0.1.0",
|
||||
"device": "cpu",
|
||||
"context_limit": 8192,
|
||||
"probabilities_source": "native"
|
||||
},
|
||||
"device": "cpu",
|
||||
"load_seconds": 6.05,
|
||||
"conformance": [
|
||||
{
|
||||
"name": "valid_choice_noul",
|
||||
"expected": "ok",
|
||||
"got": "ok"
|
||||
},
|
||||
{
|
||||
"name": "valid_score",
|
||||
"expected": "ok",
|
||||
"got": "ok"
|
||||
},
|
||||
{
|
||||
"name": "valid_state_object",
|
||||
"expected": "ok",
|
||||
"got": "ok"
|
||||
},
|
||||
{
|
||||
"name": "invalid_17_options",
|
||||
"expected": "invalid_request",
|
||||
"got": "invalid_request"
|
||||
},
|
||||
{
|
||||
"name": "invalid_single_option",
|
||||
"expected": "invalid_request",
|
||||
"got": "invalid_request"
|
||||
},
|
||||
{
|
||||
"name": "invalid_noul_missing_false",
|
||||
"expected": "invalid_request",
|
||||
"got": "invalid_request"
|
||||
},
|
||||
{
|
||||
"name": "invalid_unknown_type",
|
||||
"expected": "invalid_request",
|
||||
"got": "invalid_request"
|
||||
},
|
||||
{
|
||||
"name": "invalid_empty_state",
|
||||
"expected": "invalid_request",
|
||||
"got": "invalid_request"
|
||||
},
|
||||
{
|
||||
"name": "invalid_no_questions",
|
||||
"expected": "invalid_request",
|
||||
"got": "invalid_request"
|
||||
},
|
||||
{
|
||||
"name": "invalid_extra_field",
|
||||
"expected": "invalid_request",
|
||||
"got": "invalid_request"
|
||||
}
|
||||
],
|
||||
"sanity": [
|
||||
{
|
||||
"name": "choice:pagamento",
|
||||
"gold": "pagamento",
|
||||
"pred": "pagamento",
|
||||
"latency_ms": 16411.3,
|
||||
"answer": {
|
||||
"type": "choice",
|
||||
"choice": "pagamento",
|
||||
"confidence": 0.9999580355069111,
|
||||
"probabilities": {
|
||||
"pagamento": 0.9999580355069111,
|
||||
"cancelamento": 2.7535293796608728e-05,
|
||||
"suporte_tecnico": 6.540205536604591e-06,
|
||||
"sem_correspondencia": 7.888993755683035e-06
|
||||
}
|
||||
},
|
||||
"pred_permuted": "pagamento",
|
||||
"permutation_invariant": true,
|
||||
"correct": true
|
||||
},
|
||||
{
|
||||
"name": "choice:cancelamento",
|
||||
"gold": "cancelamento",
|
||||
"pred": "cancelamento",
|
||||
"latency_ms": 17233.2,
|
||||
"answer": {
|
||||
"type": "choice",
|
||||
"choice": "cancelamento",
|
||||
"confidence": 0.9982468109808258,
|
||||
"probabilities": {
|
||||
"pagamento": 0.001700633028283725,
|
||||
"cancelamento": 0.9982468109808258,
|
||||
"suporte_tecnico": 3.114818042829917e-05,
|
||||
"sem_correspondencia": 2.1407810462216812e-05
|
||||
}
|
||||
},
|
||||
"pred_permuted": "cancelamento",
|
||||
"permutation_invariant": true,
|
||||
"correct": true
|
||||
},
|
||||
{
|
||||
"name": "choice:suporte_tecnico",
|
||||
"gold": "suporte_tecnico",
|
||||
"pred": "suporte_tecnico",
|
||||
"latency_ms": 16699.8,
|
||||
"answer": {
|
||||
"type": "choice",
|
||||
"choice": "suporte_tecnico",
|
||||
"confidence": 0.9987593932138263,
|
||||
"probabilities": {
|
||||
"pagamento": 0.0011694270195878285,
|
||||
"cancelamento": 3.1164174472760134e-05,
|
||||
"suporte_tecnico": 0.9987593932138263,
|
||||
"sem_correspondencia": 4.001559211311531e-05
|
||||
}
|
||||
},
|
||||
"pred_permuted": "suporte_tecnico",
|
||||
"permutation_invariant": true,
|
||||
"correct": true
|
||||
},
|
||||
{
|
||||
"name": "choice:sem_correspondencia",
|
||||
"gold": "sem_correspondencia",
|
||||
"pred": "sem_correspondencia",
|
||||
"latency_ms": 16903.6,
|
||||
"answer": {
|
||||
"type": "choice",
|
||||
"choice": "sem_correspondencia",
|
||||
"confidence": 0.9850240302415921,
|
||||
"probabilities": {
|
||||
"pagamento": 0.010942628542039331,
|
||||
"cancelamento": 0.0031351155675534968,
|
||||
"suporte_tecnico": 0.0008982256488151342,
|
||||
"sem_correspondencia": 0.9850240302415921
|
||||
}
|
||||
},
|
||||
"pred_permuted": "sem_correspondencia",
|
||||
"permutation_invariant": true,
|
||||
"correct": true
|
||||
},
|
||||
{
|
||||
"name": "noul:clara",
|
||||
"gold": "true",
|
||||
"pred": "true",
|
||||
"latency_ms": 13812.9,
|
||||
"answer": {
|
||||
"type": "noul",
|
||||
"noul": 0.9465966702001758
|
||||
},
|
||||
"correct": true
|
||||
},
|
||||
{
|
||||
"name": "noul:vaga",
|
||||
"gold": "false",
|
||||
"pred": "false",
|
||||
"latency_ms": 13046.2,
|
||||
"answer": {
|
||||
"type": "noul",
|
||||
"noul": 0.014063627043245475
|
||||
},
|
||||
"correct": true
|
||||
},
|
||||
{
|
||||
"name": "score:alta",
|
||||
"gold": "2",
|
||||
"pred": "2",
|
||||
"latency_ms": 13712.6,
|
||||
"answer": {
|
||||
"type": "score",
|
||||
"score": 1.9927177259683637,
|
||||
"confidence": 0.9963109844368413,
|
||||
"probabilities": {
|
||||
"0": 0.0035932584684774537,
|
||||
"1": 9.575709468113931e-05,
|
||||
"2": 0.9963109844368413
|
||||
},
|
||||
"legend": {
|
||||
"0": "Baixa",
|
||||
"1": "Média",
|
||||
"2": "Alta"
|
||||
}
|
||||
},
|
||||
"correct": true
|
||||
},
|
||||
{
|
||||
"name": "score:baixa",
|
||||
"gold": "0",
|
||||
"pred": "1",
|
||||
"latency_ms": 15147.9,
|
||||
"answer": {
|
||||
"type": "score",
|
||||
"score": 0.7051250202229055,
|
||||
"confidence": 0.46831026433271183,
|
||||
"probabilities": {
|
||||
"0": 0.41328235772219135,
|
||||
"1": 0.46831026433271183,
|
||||
"2": 0.11840737794509683
|
||||
},
|
||||
"legend": {
|
||||
"0": "Baixa",
|
||||
"1": "Média",
|
||||
"2": "Alta"
|
||||
}
|
||||
},
|
||||
"correct": false
|
||||
}
|
||||
],
|
||||
"summary": {
|
||||
"contract_violations": [],
|
||||
"sanity_correct": "7/8",
|
||||
"permutation_invariant": "4/4"
|
||||
},
|
||||
"oci": {
|
||||
"region": "us-chicago-1",
|
||||
"run_id": "20261007T153216Z-semif-sanity"
|
||||
}
|
||||
}
|
||||
223
reports/sanity/oci/semif-cuda.json
Normal file
223
reports/sanity/oci/semif-cuda.json
Normal file
@@ -0,0 +1,223 @@
|
||||
{
|
||||
"candidate": {
|
||||
"name": "semif",
|
||||
"model_id": "semif@851bf6e806ef",
|
||||
"revision": "851bf6e806efd8d0a36b00ddf55e13ccb7b8cd0a",
|
||||
"adapter_version": "0.1.0",
|
||||
"device": "cuda",
|
||||
"context_limit": 8192,
|
||||
"probabilities_source": "native"
|
||||
},
|
||||
"device": "cuda",
|
||||
"load_seconds": 6.47,
|
||||
"process_guard": "ok",
|
||||
"conformance": [
|
||||
{
|
||||
"name": "valid_choice_noul",
|
||||
"expected": "ok",
|
||||
"got": "ok"
|
||||
},
|
||||
{
|
||||
"name": "valid_score",
|
||||
"expected": "ok",
|
||||
"got": "ok"
|
||||
},
|
||||
{
|
||||
"name": "valid_state_object",
|
||||
"expected": "ok",
|
||||
"got": "ok"
|
||||
},
|
||||
{
|
||||
"name": "invalid_17_options",
|
||||
"expected": "invalid_request",
|
||||
"got": "invalid_request"
|
||||
},
|
||||
{
|
||||
"name": "invalid_single_option",
|
||||
"expected": "invalid_request",
|
||||
"got": "invalid_request"
|
||||
},
|
||||
{
|
||||
"name": "invalid_noul_missing_false",
|
||||
"expected": "invalid_request",
|
||||
"got": "invalid_request"
|
||||
},
|
||||
{
|
||||
"name": "invalid_unknown_type",
|
||||
"expected": "invalid_request",
|
||||
"got": "invalid_request"
|
||||
},
|
||||
{
|
||||
"name": "invalid_empty_state",
|
||||
"expected": "invalid_request",
|
||||
"got": "invalid_request"
|
||||
},
|
||||
{
|
||||
"name": "invalid_no_questions",
|
||||
"expected": "invalid_request",
|
||||
"got": "invalid_request"
|
||||
},
|
||||
{
|
||||
"name": "invalid_extra_field",
|
||||
"expected": "invalid_request",
|
||||
"got": "invalid_request"
|
||||
}
|
||||
],
|
||||
"sanity": [
|
||||
{
|
||||
"name": "choice:pagamento",
|
||||
"gold": "pagamento",
|
||||
"pred": "pagamento",
|
||||
"latency_ms": 66.5,
|
||||
"answer": {
|
||||
"type": "choice",
|
||||
"choice": "pagamento",
|
||||
"confidence": 0.9999580355069111,
|
||||
"probabilities": {
|
||||
"pagamento": 0.9999580355069111,
|
||||
"cancelamento": 2.7535293796608728e-05,
|
||||
"suporte_tecnico": 6.540205536604591e-06,
|
||||
"sem_correspondencia": 7.888993755683035e-06
|
||||
}
|
||||
},
|
||||
"pred_permuted": "pagamento",
|
||||
"permutation_invariant": true,
|
||||
"correct": true
|
||||
},
|
||||
{
|
||||
"name": "choice:cancelamento",
|
||||
"gold": "cancelamento",
|
||||
"pred": "cancelamento",
|
||||
"latency_ms": 65.9,
|
||||
"answer": {
|
||||
"type": "choice",
|
||||
"choice": "cancelamento",
|
||||
"confidence": 0.9984434836109674,
|
||||
"probabilities": {
|
||||
"pagamento": 0.0015010990652337887,
|
||||
"cancelamento": 0.9984434836109674,
|
||||
"suporte_tecnico": 3.11543171817569e-05,
|
||||
"sem_correspondencia": 2.4263006617207197e-05
|
||||
}
|
||||
},
|
||||
"pred_permuted": "cancelamento",
|
||||
"permutation_invariant": true,
|
||||
"correct": true
|
||||
},
|
||||
{
|
||||
"name": "choice:suporte_tecnico",
|
||||
"gold": "suporte_tecnico",
|
||||
"pred": "suporte_tecnico",
|
||||
"latency_ms": 64.8,
|
||||
"answer": {
|
||||
"type": "choice",
|
||||
"choice": "suporte_tecnico",
|
||||
"confidence": 0.9987677467505007,
|
||||
"probabilities": {
|
||||
"pagamento": 0.001169436800573682,
|
||||
"cancelamento": 2.7502517470556258e-05,
|
||||
"suporte_tecnico": 0.9987677467505007,
|
||||
"sem_correspondencia": 3.531393145509289e-05
|
||||
}
|
||||
},
|
||||
"pred_permuted": "suporte_tecnico",
|
||||
"permutation_invariant": true,
|
||||
"correct": true
|
||||
},
|
||||
{
|
||||
"name": "choice:sem_correspondencia",
|
||||
"gold": "sem_correspondencia",
|
||||
"pred": "sem_correspondencia",
|
||||
"latency_ms": 65.7,
|
||||
"answer": {
|
||||
"type": "choice",
|
||||
"choice": "sem_correspondencia",
|
||||
"confidence": 0.9850240302415921,
|
||||
"probabilities": {
|
||||
"pagamento": 0.010942628542039331,
|
||||
"cancelamento": 0.0031351155675534968,
|
||||
"suporte_tecnico": 0.0008982256488151342,
|
||||
"sem_correspondencia": 0.9850240302415921
|
||||
}
|
||||
},
|
||||
"pred_permuted": "sem_correspondencia",
|
||||
"permutation_invariant": true,
|
||||
"correct": true
|
||||
},
|
||||
{
|
||||
"name": "noul:clara",
|
||||
"gold": "true",
|
||||
"pred": "true",
|
||||
"latency_ms": 68.7,
|
||||
"answer": {
|
||||
"type": "noul",
|
||||
"noul": 0.9465966702001758
|
||||
},
|
||||
"correct": true
|
||||
},
|
||||
{
|
||||
"name": "noul:vaga",
|
||||
"gold": "false",
|
||||
"pred": "false",
|
||||
"latency_ms": 65.0,
|
||||
"answer": {
|
||||
"type": "noul",
|
||||
"noul": 0.01590639171181471
|
||||
},
|
||||
"correct": true
|
||||
},
|
||||
{
|
||||
"name": "score:alta",
|
||||
"gold": "2",
|
||||
"pred": "2",
|
||||
"latency_ms": 63.8,
|
||||
"answer": {
|
||||
"type": "score",
|
||||
"score": 1.991764792381704,
|
||||
"confidence": 0.9958345405394164,
|
||||
"probabilities": {
|
||||
"0": 0.004069748157712474,
|
||||
"1": 9.571130287104325e-05,
|
||||
"2": 0.9958345405394164
|
||||
},
|
||||
"legend": {
|
||||
"0": "Baixa",
|
||||
"1": "Média",
|
||||
"2": "Alta"
|
||||
}
|
||||
},
|
||||
"correct": true
|
||||
},
|
||||
{
|
||||
"name": "score:baixa",
|
||||
"gold": "0",
|
||||
"pred": "0",
|
||||
"latency_ms": 64.7,
|
||||
"answer": {
|
||||
"type": "score",
|
||||
"score": 0.6683472691146671,
|
||||
"confidence": 0.44388424362844425,
|
||||
"probabilities": {
|
||||
"0": 0.44388424362844425,
|
||||
"1": 0.44388424362844425,
|
||||
"2": 0.11223151274311144
|
||||
},
|
||||
"legend": {
|
||||
"0": "Baixa",
|
||||
"1": "Média",
|
||||
"2": "Alta"
|
||||
}
|
||||
},
|
||||
"correct": true
|
||||
}
|
||||
],
|
||||
"summary": {
|
||||
"contract_violations": [],
|
||||
"sanity_correct": "8/8",
|
||||
"permutation_invariant": "4/4"
|
||||
},
|
||||
"oci": {
|
||||
"region": "sa-saopaulo-1",
|
||||
"run_id": "20261007T163132Z-semif-sanity"
|
||||
}
|
||||
}
|
||||
Reference in New Issue
Block a user