mirror of
https://github.com/mcloh/poc-grok-websearch.git
synced 2026-11-06 06:14:11 +00:00
Compare commits
5 Commits
7f2ce6750b
...
main
| Author | SHA1 | Date | |
|---|---|---|---|
|
a19b060526 | ||
|
|
9635ef8c9b | ||
|
|
5510f2d45f | ||
|
|
47e241a321 | ||
|
|
62258836bb |
@@ -3,3 +3,4 @@
|
|||||||
evidence
|
evidence
|
||||||
__pycache__
|
__pycache__
|
||||||
.git
|
.git
|
||||||
|
benchmarks/
|
||||||
|
|||||||
5
.gitignore
vendored
5
.gitignore
vendored
@@ -14,3 +14,8 @@ evidence/*
|
|||||||
!evidence/RELATORIO.md
|
!evidence/RELATORIO.md
|
||||||
!evidence/validation-summary.json
|
!evidence/validation-summary.json
|
||||||
!evidence/grok-websearch-models.json
|
!evidence/grok-websearch-models.json
|
||||||
|
|
||||||
|
# Resultados brutos do comparativo permanecem locais
|
||||||
|
benchmarks/runs/
|
||||||
|
benchmarks/intents-source.txt
|
||||||
|
benchmarks/plan.json
|
||||||
|
|||||||
34
README.md
34
README.md
@@ -176,3 +176,37 @@ O [script](validate.py) faz uma chamada paga de inferência sobre notícia de ho
|
|||||||
Na execução original, o REST retornou HTTP 200 em 36,12 segundos, com duas buscas concluídas e uma abertura de página após uma tentativa inicial falhar. A fonte foi acessada independentemente e mostrou publicação em 14/10/2026 às 08:17. Desktop e celular passaram nas verificações de JavaScript e layout. A renderização foi verificada com uma fixture da resposta REST real.
|
Na execução original, o REST retornou HTTP 200 em 36,12 segundos, com duas buscas concluídas e uma abertura de página após uma tentativa inicial falhar. A fonte foi acessada independentemente e mostrou publicação em 14/10/2026 às 08:17. Desktop e celular passaram nas verificações de JavaScript e layout. A renderização foi verificada com uma fixture da resposta REST real.
|
||||||
|
|
||||||
Consulte o [relatório](evidence/RELATORIO.md) e o [resumo estruturado](evidence/validation-summary.json). Apenas evidências selecionadas são compartilhadas; credenciais, dados administrativos OCI, respostas brutas, cópias integrais das fontes e scripts específicos da infraestrutura ficam locais.
|
Consulte o [relatório](evidence/RELATORIO.md) e o [resumo estruturado](evidence/validation-summary.json). Apenas evidências selecionadas são compartilhadas; credenciais, dados administrativos OCI, respostas brutas, cópias integrais das fontes e scripts específicos da infraestrutura ficam locais.
|
||||||
|
|
||||||
|
## Benchmark em dois turnos — executado em 15/10/2026
|
||||||
|
|
||||||
|
Veja o [sumário executivo e o consolidado de todos os modelos testados](benchmarks/README.md).
|
||||||
|
|
||||||
|
**1º turno — seleção:** as mesmas 12 perguntas nos sete IDs, três por tema, com corte de 70/100 e pesos de 50% custo, 30% busca operacional confiável e 20% latência. A [apuração](benchmarks/screening/README.md) classifica Grok 4.3 (97,15) e Grok 4.20 non-reasoning (73,39), agrupando aliases para não duplicar vagas.
|
||||||
|
|
||||||
|
**2º turno — comparação completa:** as mesmas 100 intenções nos dois finalistas, para medir consumo de tokens, buscas e custo efetivo por interação. Grok 4.3 apresenta economia de 43,38% nesse confronto.
|
||||||
|
|
||||||
|
A ordem dos turnos organiza a leitura: a seleção calculada foi executada posteriormente como auditoria e confirmou a dupla original. A [nota metodológica](benchmarks/README.md#nota-sobre-a-ordem-de-apresentação) registra a cronologia real.
|
||||||
|
|
||||||
|
Foi executada a mesma lista de 100 intenções nos dois candidatos de uso geral, Grok 4.3 e Grok 4.20 non-reasoning: 25 de culinária, 25 de esportes, 25 de clima e 25 de entretenimento por modelo. As 200 interações tiveram HTTP 200 e busca confirmada, sem retries ou duplicação de chamadas. Os hashes do payload compartilhado coincidiram nos 100 pares.
|
||||||
|
|
||||||
|
- [Lista das 100 intenções](benchmarks/INTENCOES.md).
|
||||||
|
- [Dataset com prompts e hashes](benchmarks/intents.json).
|
||||||
|
- [Protocolo, contabilidade de tokens e orçamento](benchmarks/PROTOCOLO.md).
|
||||||
|
- [Preços Oracle congelados](benchmarks/oracle-prices.json).
|
||||||
|
- [Coletor com retomada e CSV por interação](benchmarks/run_benchmark.py).
|
||||||
|
|
||||||
|
| Modelo | Interações | Entrada (inclui cache) | Cache | Saída (inclui raciocínio) | Buscas tarifadas | Custo total USD | Média por interação USD |
|
||||||
|
|---|---:|---:|---:|---:|---:|---:|---:|
|
||||||
|
| `xai.grok-4.20-non-reasoning` | 100 | 4815453 | 2197632 | 92770 | 647 | 7.178728 | 0.071787 |
|
||||||
|
| `xai.grok-4.3` | 100 | 2032728 | 307840 | 114653 | 312 | 4.064310 | 0.040643 |
|
||||||
|
|
||||||
|
**Total: US$ 11.243038, incluindo US$ 4.795 de websearch.** A busca custa US$ 5 por 1000 chamadas, conforme os SKUs Oracle congelados no experimento. Entrada sem cache e saída custam US$ 1,25 e US$ 2,50 por milhão de tokens; cache custa US$ 0,20 por milhão para ambos os modelos.
|
||||||
|
|
||||||
|
Neste lote, **Grok 4.3 custou 43.38% menos**, com menor custo em 95 dos 100 pares. O menor custo veio principalmente de menos buscas e menos contexto processado. A mediana de tempo foi 10.60s para Grok 4.3 e 13.55s para 4.20 non-reasoning. Isso não estabelece superioridade factual: o experimento mede consumo, execução da busca e latência observada, não pontua a qualidade das respostas.
|
||||||
|
|
||||||
|
- [Relatório completo com custos por categoria](benchmarks/results/comparison-2026-10-15/REPORT.md).
|
||||||
|
- [CSV das 200 interações, com prompt e composição de custo](benchmarks/results/comparison-2026-10-15/interactions.csv).
|
||||||
|
- [Resumo estruturado](benchmarks/results/comparison-2026-10-15/summary.json).
|
||||||
|
- [Contadores de uso medidos e custos por chamada](benchmarks/results/comparison-2026-10-15/measured-usage.json).
|
||||||
|
|
||||||
|
O custo foi calculado do uso medido a preço de lista, incluindo cache, saída com raciocínio e websearch, sem dupla contagem. Não é uma fatura OCI conciliada e exclui impostos, descontos, VM, rede e armazenamento. As respostas brutas e os registros operacionais permanecem locais.
|
||||||
|
|||||||
104
benchmarks/INTENCOES.md
Normal file
104
benchmarks/INTENCOES.md
Normal file
@@ -0,0 +1,104 @@
|
|||||||
|
# Lista fixa de 100 intenções
|
||||||
|
|
||||||
|
Data de referência: 2026-10-15. 25 intenções por tema. Os prompts exatos e hashes estão em [intents.json](intents.json).
|
||||||
|
|
||||||
|
1. **culinaria — cardápio executivo atualizado**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é o cardápio executivo mais recente do restaurante Figueira Rubaiyat em São Paulo, com preço e dias de funcionamento? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
2. **culinaria — menu degustação e reserva**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é o menu degustação atual do D.O.M. em São Paulo, quanto custa e como reservar? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
3. **culinaria — rodízio e preço vigente**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quanto custa hoje o rodízio do Fogo de Chão nos Jardins, em São Paulo, no almoço e no jantar? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
4. **culinaria — brunch do próximo domingo**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais hotéis em São Paulo anunciam brunch para o próximo domingo, com preços e horários? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
5. **culinaria — feira gastronômica neste fim de semana**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Que feiras gastronômicas estão confirmadas na cidade de São Paulo para este fim de semana, com endereços e horários? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
6. **culinaria — festival gastronômico em andamento**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais festivais gastronômicos estão acontecendo nesta semana em São Paulo, com datas e participantes? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
7. **culinaria — restaurantes recém-abertos**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais restaurantes abriram nos últimos 30 dias em São Paulo e que tipo de comida oferecem? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
8. **culinaria — estrelas Michelin vigentes**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais restaurantes de São Paulo têm estrelas na edição mais recente do Guia Michelin? Informe a edição consultada. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
9. **culinaria — lista Bib Gourmand atual**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais restaurantes do Rio de Janeiro aparecem no Bib Gourmand mais recente, com especialidades e bairros? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
10. **culinaria — restaurante com opção vegana atual**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais opções veganas aparecem no cardápio atual do restaurante Mocotó em São Paulo e quais são os preços publicados? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
11. **culinaria — restaurante sem glúten com funcionamento confirmado**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais restaurantes dedicados à alimentação sem glúten em Curitiba estão com funcionamento confirmado nesta semana? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
12. **culinaria — serviço gastronômico para feriado**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais restaurantes de Belo Horizonte já anunciaram menus e reservas para o próximo feriado nacional? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
13. **culinaria — aula de culinária com inscrição aberta**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais aulas presenciais de culinária em São Paulo estão com inscrições abertas para os próximos 30 dias, com preços? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
14. **culinaria — curso de panificação próximo**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é a próxima turma presencial de panificação do Senac em São Paulo com inscrição aberta e qual é o valor anunciado? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
15. **culinaria — aula infantil em data próxima**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Há oficinas de culinária para crianças no próximo fim de semana em São Paulo? Informe idade, preço e inscrição. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
16. **culinaria — chef convidado em evento atual**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais jantares com chefs convidados estão anunciados em São Paulo para os próximos 15 dias? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
17. **culinaria — concurso gastronômico recente**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quem venceu o concurso de melhor queijo no campeonato brasileiro mais recente? Informe o nome e a data do concurso. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
18. **culinaria — lançamento recente de livro culinário**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais livros de culinária em português foram lançados nos últimos 60 dias, com autoria e editora? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
19. **culinaria — receita publicada nesta semana**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Encontre uma receita de jantar publicada nesta semana por um portal culinário brasileiro; informe ingredientes, rendimento e data. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
20. **culinaria — receita sazonal recém-publicada**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Encontre uma receita com frutas da estação publicada nos últimos 30 dias no Panelinha; informe a data e a fonte. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
21. **culinaria — preço atacadista atual de hortaliças**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é a cotação mais recente de tomate e batata na CEAGESP? Informe data, unidade e categoria dos produtos. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
22. **culinaria — promoção de supermercado vigente**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais ofertas de azeite estão publicadas em encartes online de supermercados de São Paulo com validade incluindo a data de referência? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
23. **culinaria — harmonização em evento próximo**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais degustações de vinho com harmonização estão agendadas em São Paulo para os próximos sete dias, com valores? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
24. **culinaria — mercado municipal horário atual**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais são os horários atuais do Mercado Municipal de São Paulo e houve aviso recente de mudança para o próximo fim de semana? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
25. **culinaria — restaurante premiado recentemente**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual restaurante venceu a categoria de melhor restaurante no prêmio gastronômico paulistano mais recentemente divulgado? Identifique prêmio e data. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
26. **esportes — jogos de futebol de hoje**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais jogos de futebol profissional masculino acontecem hoje no Brasil, com horários de Brasília e transmissão anunciada? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
27. **esportes — partidas da seleção feminina**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é o próximo jogo confirmado da seleção brasileira feminina de futebol, com adversário, local e transmissão? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
28. **esportes — tabela atual do Brasileirão**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é a classificação mais recente do Campeonato Brasileiro Série A e quando foi atualizada? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
29. **esportes — resultado mais recente do Palmeiras**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual foi o resultado do jogo oficial mais recente do Palmeiras e qual é o próximo compromisso confirmado? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
30. **esportes — notícia recente de lesão no Flamengo**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é a atualização publicada nas últimas 48 horas sobre o departamento médico do Flamengo? Cite a data. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
31. **esportes — suspensões para próxima rodada**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais jogadores do Corinthians estão confirmados como suspensos para o próximo jogo oficial? Use informações recentes. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
32. **esportes — troca de técnico recente**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais clubes da Série A anunciaram mudança de treinador nos últimos sete dias? Se nenhum, declare isso. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
33. **esportes — ingressos para próximo jogo**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. A venda de ingressos para o próximo jogo do São Paulo como mandante está aberta? Informe preços oficiais e canal de venda. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
34. **esportes — final de campeonato com agenda vigente**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é a agenda atualmente confirmada da final da Copa do Brasil desta temporada, com datas e locais definidos? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
35. **esportes — próxima rodada de futebol europeu**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais partidas estão programadas para a próxima rodada da Premier League, com horários convertidos para Brasília? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
36. **esportes — rodada da Champions**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais são os próximos jogos confirmados da UEFA Champions League e onde serão transmitidos no Brasil? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
37. **esportes — calendário próximo da NBA**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais partidas da NBA estão programadas para amanhã e quais têm transmissão anunciada para o Brasil? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
38. **esportes — último resultado da WNBA**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual foi o resultado da partida mais recente da WNBA e qual é a situação atual da competição? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
39. **esportes — próxima etapa da Fórmula 1**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é o próximo Grande Prêmio de Fórmula 1 e quais são os horários oficiais de treinos, classificação e corrida em Brasília? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
40. **esportes — classificação vigente da Fórmula 1**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Como estão as classificações de pilotos e construtores da Fórmula 1 após a etapa mais recente? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
41. **esportes — agenda da MotoGP**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é a próxima etapa da MotoGP e quando serão a sprint e a corrida principal, no horário de Brasília? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
42. **esportes — ranking ATP atualizado**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é o top 10 do ranking ATP mais recente e qual é a data dessa atualização? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
43. **esportes — ranking WTA atualizado**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é o top 10 do ranking WTA mais recente e qual é a data dessa atualização? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
44. **esportes — próximo jogo de tenista brasileiro**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é o próximo jogo confirmado de João Fonseca, com adversário, torneio, horário e transmissão se disponíveis? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
45. **esportes — calendário de vôlei da semana**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais partidas da Superliga brasileira de vôlei estão confirmadas para os próximos sete dias, com horários e transmissão? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
46. **esportes — resultado recente de surfe**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quem venceu a etapa mais recente do circuito mundial de surfe e como ficou a classificação? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
47. **esportes — próximo card do UFC**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é o próximo evento do UFC, quais lutas estão confirmadas e onde assistir no Brasil? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
48. **esportes — corrida de rua com inscrições abertas**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais corridas de rua de 5 ou 10 km em São Paulo nos próximos 30 dias ainda anunciam inscrições abertas e preços? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
49. **esportes — alteração recente de evento esportivo**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Houve cancelamento ou mudança de local de algum grande evento esportivo no Brasil nos últimos sete dias? Cite confirmação oficial. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
50. **esportes — agenda de esporte paralímpico**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais competições paralímpicas com participação brasileira estão confirmadas para os próximos 15 dias, com fontes atuais? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
51. **clima — previsão local de amanhã**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é a previsão para São Bernardo do Campo amanhã, incluindo mínima, máxima e probabilidade de chuva? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
52. **clima — chuva por hora hoje**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é a previsão de chuva por hora para a cidade de São Paulo no restante de hoje? Informe a atualização da fonte. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
53. **clima — alerta meteorológico vigente**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Há alertas vigentes do INMET para a região do ABC paulista? Informe gravidade, validade e fenômenos previstos. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
54. **clima — frente fria mais recente**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Há previsão atual de chegada de frente fria a São Paulo nos próximos sete dias? Informe a data estimada. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
55. **clima — condição para praia no fim de semana**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Como está a previsão para Santos neste fim de semana, com chuva, temperatura e vento? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
56. **clima — condição para trilha em data próxima**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é a previsão atual para trilha em Campos do Jordão no próximo sábado de manhã, com chuva e temperatura? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
57. **clima — tempo para evento ao ar livre**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. A previsão atual indica chuva em Curitiba no próximo domingo entre 14h e 18h? Informe as incertezas disponíveis. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
58. **clima — qualidade do ar atual**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é a classificação mais recente da qualidade do ar em São Paulo segundo a CETESB, com horário e estação? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
59. **clima — umidade relativa prevista**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é a menor umidade relativa prevista para Brasília amanhã e há alerta meteorológico vigente? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
60. **clima — índice UV de amanhã**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é a previsão de índice ultravioleta para o Rio de Janeiro amanhã, com horário de pico se disponível? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
61. **clima — onda de calor vigente**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais estados brasileiros têm alertas oficiais vigentes de onda de calor e até quando? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
62. **clima — risco de geada próximo**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Há previsão de geada na Serra Catarinense para as próximas 72 horas? Cite boletim e validade. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
63. **clima — risco de temporais próximo**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais regiões do Rio Grande do Sul têm previsão oficial de temporais nas próximas 48 horas? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
64. **clima — acumulado de chuva recente**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual foi o acumulado de chuva das últimas 24 horas em Recife segundo a fonte oficial mais recente? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
65. **clima — nível atual de rio**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é o nível mais recente do Rio Negro em Manaus, com data e comparação com a medição anterior? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
66. **clima — boletim atual de reservatórios**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é a situação mais recente do Sistema Cantareira, incluindo volume e data do boletim? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
67. **clima — previsão atual de maré**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais são os horários e alturas de maré previstos para o porto de Santos amanhã, segundo uma tábua atual? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
68. **clima — ressaca vigente**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Há avisos vigentes de ressaca no litoral do Rio de Janeiro? Informe o intervalo de validade e a altura prevista das ondas. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
69. **clima — vento para passeio de barco**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é a previsão de vento e rajadas para Ilhabela amanhã de manhã, com horário de atualização da fonte? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
70. **clima — boletim atual de ciclone**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Há algum ciclone tropical ativo no Atlântico segundo o boletim mais recente do NHC? Informe horário e localização, se houver. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
71. **clima — neve prevista em estação de esqui**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é a previsão de neve e a situação operacional atual de Cerro Catedral, na Argentina, para os próximos sete dias? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
72. **clima — tempo no destino internacional**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é a previsão de temperatura e chuva em Lisboa para os próximos três dias, com a data da previsão? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
73. **clima — tendência climática recém-publicada**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é o prognóstico climático mais recente do INMET para o próximo trimestre no Sudeste brasileiro? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
74. **clima — situação recente do El Niño**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é o diagnóstico mais recente de El Niño ou La Niña publicado pela NOAA? Informe data e probabilidade para os próximos meses. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
75. **clima — comparação de previsões atuais**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Compare as previsões atuais do INMET e de outro serviço para a temperatura e chuva em Belo Horizonte amanhã; destaque divergências. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
76. **entretenimento — estreias de cinema da semana**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais filmes estrearam nos cinemas brasileiros nesta semana? Informe datas e distribuidoras se disponíveis. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
77. **entretenimento — sessões de cinema hoje**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais sessões de cinema estão anunciadas para hoje no Shopping Metrópole, em São Bernardo do Campo, com horários? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
78. **entretenimento — lançamentos de streaming da semana**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais filmes e séries chegaram à Netflix Brasil nesta semana? Cite datas e fontes atuais. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
79. **entretenimento — catálogo atual de um filme**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Em quais serviços de streaming no Brasil o filme Duna: Parte Dois está disponível hoje, distinguindo assinatura e aluguel? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
80. **entretenimento — ranking atual de streaming**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é o top 10 de filmes da Netflix Brasil mais recentemente publicado e a qual período se refere? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
81. **entretenimento — novo episódio de série**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual foi o episódio mais recentemente lançado de Os Anéis de Poder no Brasil e existe data confirmada para o próximo? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
82. **entretenimento — agenda de shows do fim de semana**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais shows de rock estão confirmados na cidade de São Paulo neste fim de semana, com locais e horários? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
83. **entretenimento — ingressos para show anunciado**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais shows internacionais no Allianz Parque têm venda oficial de ingressos aberta agora, com datas e preços anunciados? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
84. **entretenimento — line-up atualizado de festival**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é o line-up oficialmente confirmado da próxima edição do Lollapalooza Brasil e quais são suas datas? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
85. **entretenimento — mudança recente em apresentação**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais shows no Brasil tiveram cancelamento ou alteração de data anunciados nos últimos sete dias? Use comunicados oficiais. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
86. **entretenimento — peça em cartaz nesta semana**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais peças estão em cartaz nesta semana no Teatro Sérgio Cardoso, com horários e preços? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
87. **entretenimento — musical com temporada atual**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais musicais estão em temporada na cidade de São Paulo neste mês, com teatros e períodos confirmados? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
88. **entretenimento — exposição atual em museu**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais exposições estão abertas hoje no MASP e quais são os horários e preços de visita? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
89. **entretenimento — programação atual de centro cultural**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais atividades gratuitas estão anunciadas pelo Centro Cultural São Paulo para o próximo fim de semana? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
90. **entretenimento — programação infantil próxima**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais atividades infantis estão confirmadas no Sesc Santo André neste fim de semana, com idade indicada e inscrição? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
91. **entretenimento — lançamento recente de álbum**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais álbuns de artistas brasileiros foram lançados nos últimos sete dias? Informe artista, título e data. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
92. **entretenimento — parada musical atual**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais músicas lideram o ranking semanal mais recente do Spotify Brasil e qual é o período considerado? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
93. **entretenimento — próximo lançamento de videogame**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais jogos com lançamento confirmado para PlayStation 5 estão previstos para os próximos 15 dias no Brasil? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
94. **entretenimento — promoção vigente de jogos**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais jogos estão gratuitos ou com promoção de 100% oficialmente vigente na Epic Games Store hoje, e até quando? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
95. **entretenimento — atualização recente de videogame**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é a atualização mais recente publicada oficialmente para Fortnite e quais novidades foram anunciadas? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
96. **entretenimento — programação de TV de hoje**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é a programação da TV Cultura para hoje à noite, com horários de Brasília e fonte oficial? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
97. **entretenimento — prêmio cinematográfico recente**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais foram os vencedores das principais categorias da edição mais recente do Festival do Rio? Informe a data da premiação. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
98. **entretenimento — estreia teatral anunciada**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais espetáculos têm estreia anunciada em São Paulo nos próximos 15 dias, com datas e canais oficiais de ingresso? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
99. **entretenimento — evento de cultura pop próximo**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais eventos de cultura pop ou quadrinhos estão confirmados no estado de São Paulo para os próximos 30 dias? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
|
100. **entretenimento — visitação e bilheteria de atração atual**: Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais são os horários de funcionamento e preços de ingresso atuais do Museu do Futebol em São Paulo e há aviso de fechamento nesta semana? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.
|
||||||
71
benchmarks/PROTOCOLO.md
Normal file
71
benchmarks/PROTOCOLO.md
Normal file
@@ -0,0 +1,71 @@
|
|||||||
|
# Comparativo pareado de custo de 100 intenções
|
||||||
|
|
||||||
|
## Escopo executado
|
||||||
|
|
||||||
|
- [100 intenções](INTENCOES.md): 25 de culinária, esportes, clima e entretenimento.
|
||||||
|
- Dois finalistas: `xai.grok-4.20-non-reasoning` e `xai.grok-4.3`. São 200 interações independentes.
|
||||||
|
- [Prompts exatos](intents.json) com a mesma data e hashes. A cada intenção, enviar aos dois modelos o mesmo payload, diferindo apenas `model`. Sem histórico de conversa.
|
||||||
|
- Consultas escolhidas exigem dados atuais: horários, preços, previsão, boletins, resultados, programação e disponibilidade. Se um modelo não pesquisar, isso será registrado; não se presume busca apenas porque a ferramenta foi habilitada.
|
||||||
|
- OCI Chicago, `/v1/responses`, `tools: [{"type":"web_search"}]`, `store:false`, saída limitada a 2400 tokens. Mesmos parâmetros de amostragem e raciocínio omitidos para os dois.
|
||||||
|
- Dois envios simultâneos, pareados por intenção, alternando as categorias. Um piloto de quatro intenções, uma por categoria, representa oito chamadas e integra o lote final sem repetições.
|
||||||
|
- Sem retries automáticos. Erros de HTTP, cobrança desconhecida ou timeout interrompem novos pares e exigem diagnóstico. Falha de transporte não significa custo zero.
|
||||||
|
|
||||||
|
## Custo por interação
|
||||||
|
|
||||||
|
Preços congelados em [oracle-prices.json](oracle-prices.json), com SKUs, moeda USD, data, fonte e hash dos dados consultados. Os dois candidatos usam os SKUs comerciais Grok 4.2 e Grok 4.3, respectivamente.
|
||||||
|
|
||||||
|
```text
|
||||||
|
entrada sem cache = input_tokens - cached_tokens
|
||||||
|
custo entrada = entrada sem cache × preço entrada / 1.000.000
|
||||||
|
custo cache = cached_tokens × preço cache / 1.000.000
|
||||||
|
custo saída = output_tokens × preço saída / 1.000.000
|
||||||
|
custo busca = usage.server_side_tool_usage_details.web_search_calls × US$ 5 / 1.000
|
||||||
|
custo total = entrada + cache + saída + busca
|
||||||
|
```
|
||||||
|
|
||||||
|
Os tokens de raciocínio são um subconjunto de output_tokens: serão informados, mas não somados novamente. O contexto recuperado pelas ferramentas já entra nos contadores de uso do provedor. Os eventos de busca são preservados para auditoria, mas o número de chamadas tarifadas vem de `usage`, evitando contar abertura de página ou evento falho como cobrança adicional por inferência nossa.
|
||||||
|
|
||||||
|
O resultado é **custo calculado do uso medido a preço de lista**, não uma fatura conciliada da OCI. Descontos, impostos, VM, rede e armazenamento ficam fora deste custo variável por interação. Não se atribui escala financeira a `cost_in_usd_ticks`; o valor bruto é preservado para conferência.
|
||||||
|
|
||||||
|
Contadores ausentes, uso de outras ferramentas ou contextos agregados acima de 200 mil tokens serão classificados como custo desconhecido, em vez de precificados com suposições. Todos os dados brutos ficam locais, fora do Git.
|
||||||
|
|
||||||
|
## Orçamento e controle
|
||||||
|
|
||||||
|
A estimativa inicial foi US$ 4,42 para 200 chamadas, extrapolando uma amostra anterior de cada candidato. A estimativa não garante o custo do lote; o piloto mostrou custo maior. O orçamento deve ser definido e autorizado pelo operador antes de executar. O registro local dessa autorização não é versionado.
|
||||||
|
|
||||||
|
O coletor reserva US$ 0,25 por chamada antes de enviar o próximo par. Essa reserva supera amplamente o custo observado por chamada na amostra, mas **não é um limite imposto pela OCI**. Uma resposta com muitas buscas pode ultrapassar a reserva; chamadas em andamento não podem ser canceladas com garantia de ausência de cobrança. O orçamento é uma condição para interromper novos envios, não uma garantia de teto absoluto na fatura.
|
||||||
|
|
||||||
|
## Reprodução
|
||||||
|
|
||||||
|
Na raiz do repositório, com o ambiente Python preparado:
|
||||||
|
|
||||||
|
```bash
|
||||||
|
python benchmarks/run_benchmark.py
|
||||||
|
```
|
||||||
|
|
||||||
|
Isso valida o conjunto sem inferência. Somente após definir orçamento autorizado:
|
||||||
|
|
||||||
|
```bash
|
||||||
|
set -a
|
||||||
|
. ./.env
|
||||||
|
set +a
|
||||||
|
python benchmarks/run_benchmark.py --execute --budget-usd LIMITE_AUTORIZADO --pair-limit 4
|
||||||
|
# Conferir o piloto e depois continuar com o MESMO run-id:
|
||||||
|
python benchmarks/run_benchmark.py --execute --budget-usd LIMITE_AUTORIZADO
|
||||||
|
```
|
||||||
|
|
||||||
|
A retomada ignora chamadas concluídas e não repete automaticamente interações interrompidas. O manifesto impede misturar prompts, instruções ou preços alterados. Cada execução precisa de um `--run-id` próprio caso se altere o experimento.
|
||||||
|
|
||||||
|
Os arquivos em `runs/<run-id>/` incluem registro incremental, respostas brutas, CSV por interação e resumo por modelo. Haverá custo total, média, mediana, percentil 95, buscas, cache, saída, raciocínio, latência e taxa de execução confirmada da busca. Ausência de confirmação não deve ser confundida com resposta factualmente errada; avaliação factual exige uma etapa distinta.
|
||||||
|
|
||||||
|
## Resultado executado
|
||||||
|
|
||||||
|
O lote completo de 200 interações foi concluído em 15/10/2026. A execução teve uma parada de controle de orçamento após 170 chamadas e retomou sem reenviar nenhuma interação. Foram conferidos 100 pares com payload compartilhado idêntico, 25 intenções por categoria em cada modelo, HTTP 200 e busca confirmada nas 200 respostas.
|
||||||
|
|
||||||
|
Os resultados selecionados estão no [relatório final](results/comparison-2026-10-15/REPORT.md). O CSV contém o prompt exato, tokens totais de entrada, cache, saída, raciocínio, chamadas tarifadas e os quatro componentes de custo por interação.
|
||||||
|
|
||||||
|
Para regenerar os artefatos selecionados a partir dos registros locais, sem inferência adicional:
|
||||||
|
|
||||||
|
```bash
|
||||||
|
python benchmarks/report.py
|
||||||
|
```
|
||||||
278
benchmarks/README.md
Normal file
278
benchmarks/README.md
Normal file
@@ -0,0 +1,278 @@
|
|||||||
|
# Benchmarks Grok via OCI — consumo, ferramentas e custo
|
||||||
|
|
||||||
|
Consolidação dos testes realizados em **14 e 15/10/2026**, com custos valorados pela lista Oracle consultada em **15/10/2026**. Todos os valores financeiros estão em **USD**, para processamento padrão, com faixas de contexto curto e longo quando aplicáveis.
|
||||||
|
|
||||||
|
## Sumário executivo
|
||||||
|
|
||||||
|
**Benchmark em dois turnos: Grok 4.3 e Grok 4.20 non-reasoning são os finalistas; Grok 4.3 vence a comparação de custo do conjunto completo.** Como em uma eleição, o 1º turno compara todos os candidatos sob a mesma regra; o 2º turno concentra a análise nos dois classificados.
|
||||||
|
|
||||||
|
| Turno | Disputa | Critério | Resultado |
|
||||||
|
|---|---|---|---|
|
||||||
|
| **1º — seleção dos finalistas** | 12 perguntas iguais × sete IDs; três por tema | Nota ponderada: 50% custo, 30% busca operacional confiável, 20% latência; corte 70/100 | Grok 4.3: **97,15**; Grok 4.20 non-reasoning: **73,39** |
|
||||||
|
| **2º — comparação completa** | 100 perguntas iguais × dois finalistas; 25 por tema | Custo total por interação, incluindo tokens e websearch | Grok 4.3: **US$ 0,040643/interação**, economia de **43,38%** |
|
||||||
|
|
||||||
|
A [apuração do 1º turno](screening/README.md) explica a classificação da dupla; o 2º turno detalha sua comparação na massa completa. A vitória é econômica, sob a configuração e os casos avaliados; não é uma nota de qualidade factual.
|
||||||
|
|
||||||
|
A confirmação da segunda vaga depende do cache observado: no cenário contábil secundário sem desconto de cache, somente Grok 4.3 passa o corte. O teste não pontua qualidade factual.
|
||||||
|
|
||||||
|
No 2º turno, com 100 intenções por finalista, Grok 4.3 custou **US$ 0,040643 por interação**, contra **US$ 0,071787** no 4.20 non-reasoning: economia de **43,38%** entre esses dois candidatos. Esse resultado não estabelece superioridade perante todos os modelos.
|
||||||
|
|
||||||
|
A comparação usou **as mesmas 100 intenções por modelo**, distribuídas entre culinária, esportes, clima e entretenimento. A tabela abaixo apresenta o custo unitário observado, incluindo os tokens consumidos durante o uso das ferramentas e a cobrança do websearch.
|
||||||
|
|
||||||
|
| Indicador por interação | Grok 4.20 non-reasoning | Grok 4.3 |
|
||||||
|
|---|---:|---:|
|
||||||
|
| Tokens médios: entrada + saída | 49.082,23 | 21.473,81 |
|
||||||
|
| Chamadas médias de websearch | 6,47 | 3,12 |
|
||||||
|
| Custo médio dos tokens — USD | 0,039437 | 0,025043 |
|
||||||
|
| Custo médio do websearch — USD | 0,032350 | 0,015600 |
|
||||||
|
| **Custo médio total — USD** | 0,071787 | 0,040643 |
|
||||||
|
|
||||||
|
O resultado é explicado pelo comportamento de execução: embora as tarifas por token dos dois candidatos sejam iguais, o Grok 4.3 fez menos buscas e processou menos contexto. Ele custou menos em **95 dos 100 pares** e apresentou mediana de resposta de **10,60 s**, ante **13,55 s** do 4.20 non-reasoning.
|
||||||
|
|
||||||
|
**Investimento conhecido:** US$ 20,963443 em **294 respostas com uso**, incluindo US$ 9,458169 nas 84 respostas do 1º turno. Essa etapa exigiu 91 tentativas HTTP, com sete rejeições de infraestrutura sem custo determinável por ausência de `usage`. A qualidade factual ainda não foi pontuada.
|
||||||
|
|
||||||
|
## Escopo e evidências
|
||||||
|
|
||||||
|
| Etapa | Data | Chamadas | Objetivo |
|
||||||
|
|---|---|---:|---|
|
||||||
|
| Validação da POC | 14/10/2026 | 3 | Confirmar rotas Responses, REST público e busca com Grok 4.3 |
|
||||||
|
| Matriz de compatibilidade | 14/10/2026 | 7 | Uma consulta de notícia por identificador Grok |
|
||||||
|
| 1º turno — seleção | 15/10/2026 | 84 respostas / 91 tentativas HTTP | Mesmas 12 perguntas nos sete IDs, três por tema; corte ponderado |
|
||||||
|
| 2º turno — comparação completa | 15/10/2026 | 200 | As mesmas 100 intenções em Grok 4.20 non-reasoning e Grok 4.3 |
|
||||||
|
| **Total com uso preservado** | **14–15/10/2026** | **294** | **Inventário financeiro, não uma única amostra comparável** |
|
||||||
|
|
||||||
|
Os sete identificadores incluem os aliases `xai.grok-4.20-reasoning` e `xai.grok-4.20-non-reasoning`, que, na documentação consultada, apontam para as versões `0309` correspondentes. Portanto, sete identificadores testados não representam sete configurações independentes de modelo. Voice Agent e Multi-Agent não integram este estudo.
|
||||||
|
|
||||||
|
As quatro etapas são contabilizadas sem sobreposição. Os erros de diagnóstico sem contadores de uso não entram no total: ausência de `usage` não é tratada como prova de custo zero. O consolidado não substitui a fatura OCI.
|
||||||
|
|
||||||
|
## Resultado financeiro consolidado
|
||||||
|
|
||||||
|
### Preços de referência
|
||||||
|
|
||||||
|
Valores por **1 milhão de tokens**, exceto websearch:
|
||||||
|
|
||||||
|
| Família comercial | Entrada sem cache USD | Entrada em cache USD | Saída USD |
|
||||||
|
|---|---:|---:|---:|
|
||||||
|
| Grok 4.20 — rubrica comercial Grok 4.2 | 1,25 | 0,20 | 2,50 |
|
||||||
|
| Grok 4.3 | 1,25 | 0,20 | 2,50 |
|
||||||
|
| Grok 4.6 | 2,00 | 0,50 | 6,00 |
|
||||||
|
| Grok 4.7 | 2,00 | 0,50 | 6,00 |
|
||||||
|
|
||||||
|
As tarifas da tabela são de contexto curto. A faixa longa dobra as tarifas da família 4.20/4.3 para 2,50/0,40/5,00 e da família 4.6/4.7 para 4,00/1,00/12,00 (entrada/cache/saída, por milhão). A aplicação observada está documentada no [adendo](screening/ADENDO-CONTABILIDADE.md).
|
||||||
|
|
||||||
|
**Websearch nativo xAI via OCI: US$ 5,00 por 1.000 chamadas**, SKU `B112610`. A contabilização usa o número de chamadas tarifadas informado pelo provedor, não o número de perguntas nem uma contagem manual de eventos.
|
||||||
|
|
||||||
|
Fontes: [lista de preços Oracle](https://www.oracle.com/cloud/price-list/), [preços congelados do benchmark](oracle-prices.json) e [preços complementares e faixas longas](screening/oracle-prices.json). O consolidado registra preços, datas, hashes e contadores históricos suficientes para refazer a soma. O arquivo original de preços do lote foi preservado para manter o hash do manifesto.
|
||||||
|
|
||||||
|
### Custos por etapa
|
||||||
|
|
||||||
|
| Etapa | Entrada sem cache USD | Cache USD | Saída USD | Websearch USD | Total USD |
|
||||||
|
|---|---|---|---|---|---|
|
||||||
|
| Validação da POC | 0,023511 | 0,002534 | 0,008370 | 0,045000 | 0,079416 |
|
||||||
|
| Matriz de compatibilidade | 0,091164 | 0,003290 | 0,023366 | 0,065000 | 0,182820 |
|
||||||
|
| 1º turno — seleção | 4,575965 | 1,239002 | 0,953202 | 2,690000 | 9,458169 |
|
||||||
|
| 2º turno — comparação completa | 5,428386 | 0,501094 | 0,518558 | 4,795000 | 11,243038 |
|
||||||
|
| **Total** | 10,119027 | 1,745920 | 1,503496 | 7,595000 | 20,963443 |
|
||||||
|
|
||||||
|
### Todos os identificadores testados
|
||||||
|
|
||||||
|
Inventário das quatro etapas, com amostras diferentes: **as médias históricas não são ranking**. A comparação uniforme dos sete IDs está na [auditoria de seleção](screening/README.md).
|
||||||
|
|
||||||
|
| Identificador OCI | Respostas | Tokens USD | Websearch USD | Total USD | Média histórica USD/interação |
|
||||||
|
|---|---|---|---|---|---|
|
||||||
|
| `xai.grok-4.20-0309-non-reasoning` | 13 | 0,481469 | 0,415000 | 0,896469 | 0,068959 |
|
||||||
|
| `xai.grok-4.20-0309-reasoning` | 13 | 0,506283 | 0,305000 | 0,811283 | 0,062406 |
|
||||||
|
| `xai.grok-4.20-non-reasoning` | 113 | 4,468418 | 3,640000 | 8,108418 | 0,071756 |
|
||||||
|
| `xai.grok-4.20-reasoning` | 13 | 0,462307 | 0,290000 | 0,752307 | 0,057870 |
|
||||||
|
| `xai.grok-4.3` | 116 | 2,863576 | 1,810000 | 4,673576 | 0,040289 |
|
||||||
|
| `xai.grok-4.6` | 13 | 1,547842 | 0,485000 | 2,032842 | 0,156372 |
|
||||||
|
| `xai.grok-4.7` | 13 | 3,038548 | 0,650000 | 3,688548 | 0,283734 |
|
||||||
|
|
||||||
|
O [consolidado atual](screening/financial-consolidation.json) preserva valores completos; o [baseline de 210 respostas](financial-consolidation.json) continua intacto. Sete rejeições da auditoria sem `usage` estão fora dos custos conhecidos, sem serem tratadas como custo zero.
|
||||||
|
|
||||||
|
### 1º turno — apuração das cinco configurações
|
||||||
|
|
||||||
|
Os sete IDs representam cinco configurações, pois os aliases com e sem `0309` são agrupados. As notas dos aliases são promediadas; cada ID precisa ter 12 custos conhecidos e ao menos 11 buscas confiáveis. As duas maiores notas entre as configurações aprovadas ocupam as vagas.
|
||||||
|
|
||||||
|
| Configuração | Nota /100 | Corte >=70 | Classificação |
|
||||||
|
|---|---:|---|---|
|
||||||
|
| Grok 4.3 | 97,15 | Aprovado | **Finalista** |
|
||||||
|
| Grok 4.20 non-reasoning | 73,39 | Aprovado | **Finalista** |
|
||||||
|
| Grok 4.20 reasoning | 70,08 | Aprovado | Terceiro colocado |
|
||||||
|
| Grok 4.6 | 45,51 | Abaixo do corte | Fora das duas vagas |
|
||||||
|
| Grok 4.7 | 43,34 | Abaixo do corte | Fora das duas vagas |
|
||||||
|
|
||||||
|
Grok 4.20 reasoning passou o corte, mas teve nota menor que os dois primeiros. Seu custo médio foi inferior ao do non-reasoning; sua maior latência reduziu a pontuação. O [relatório do 1º turno](screening/README.md) apresenta os sete IDs, consumo e custo unitário, além da sensibilidade ao cache e aos casos da amostra.
|
||||||
|
|
||||||
|
### 2º turno — comparação controlada com 100 intenções por finalista
|
||||||
|
|
||||||
|
| Modelo | Total USD | Média USD/interação | Mediana USD/interação | P95 USD/interação | Websearch USD | Mediana de tempo (s) |
|
||||||
|
|---|---:|---:|---:|---:|---:|---:|
|
||||||
|
| `xai.grok-4.20-non-reasoning` | 7,178728 | 0,071787 | 0,069751 | 0,094497 | 3,235000 | 13,55 |
|
||||||
|
| `xai.grok-4.3` | 4,064310 | 0,040643 | 0,038978 | 0,056172 | 1,560000 | 10,60 |
|
||||||
|
|
||||||
|
A economia do Grok 4.3 neste lote foi de **US$ 3,114417 (43,38%)**. O P95 é o percentil empírico pelo método de posto mais próximo; não é uma garantia de custo máximo de futuras interações.
|
||||||
|
|
||||||
|
| Categoria — 25 intenções por modelo | Grok 4.20 non-reasoning USD | Grok 4.3 USD | Economia com Grok 4.3 |
|
||||||
|
|---|---:|---:|---:|
|
||||||
|
| Culinária | 1,676109 | 1,053508 | 37,15% |
|
||||||
|
| Esportes | 1,881921 | 0,976945 | 48,09% |
|
||||||
|
| Clima | 1,818597 | 0,966295 | 46,87% |
|
||||||
|
| Entretenimento | 1,802101 | 1,067563 | 40,76% |
|
||||||
|
|
||||||
|
## 2º turno — consumo e custo médios por interação
|
||||||
|
|
||||||
|
As médias desta seção usam **100 interações por modelo**, sem misturar os testes pontuais anteriores. O consumo inclui todas as etapas internas reportadas no `usage` da resposta OCI; não corresponde apenas ao tamanho do prompt digitado ou ao texto final apresentado ao usuário.
|
||||||
|
|
||||||
|
### Tokens e ferramentas por interação
|
||||||
|
|
||||||
|
| Métrica média por interação | Grok 4.20 non-reasoning | Grok 4.3 |
|
||||||
|
|---|---:|---:|
|
||||||
|
| Entrada total, cache incluído | 48.154,53 | 20.327,28 |
|
||||||
|
| Entrada atendida por cache¹ | 21.976,32 | 3.078,40 |
|
||||||
|
| Entrada sem cache | 26.178,21 | 17.248,88 |
|
||||||
|
| Saída total, raciocínio incluído | 927,70 | 1.146,53 |
|
||||||
|
| Raciocínio reportado² | 0,00 | 690,02 |
|
||||||
|
| **Total: entrada + saída** | **49.082,23** | **21.473,81** |
|
||||||
|
| Chamadas de websearch | 6,47 | 3,12 |
|
||||||
|
|
||||||
|
¹ Cache é parte da entrada, não consumo adicional. ² Raciocínio é parte da saída, não uma parcela somada novamente. A diferença de consumo vem principalmente do volume de contexto recuperado e do número de buscas realizadas.
|
||||||
|
|
||||||
|
### Composição do custo médio por interação
|
||||||
|
|
||||||
|
| Componente — USD/interação | Grok 4.20 non-reasoning | Grok 4.3 |
|
||||||
|
|---|---:|---:|
|
||||||
|
| Tokens de entrada sem cache | 0,03272276 | 0,02156110 |
|
||||||
|
| Tokens de entrada em cache | 0,00439526 | 0,00061568 |
|
||||||
|
| Tokens de saída, incluindo raciocínio | 0,00231925 | 0,00286632 |
|
||||||
|
| Chamadas de websearch | 0,03235000 | 0,01560000 |
|
||||||
|
| **Total por interação** | 0,07178728 | 0,04064310 |
|
||||||
|
|
||||||
|
**Leitura financeira:** menor tarifa por token não foi o fator de diferenciação, pois os dois candidatos tinham os mesmos preços. O Grok 4.3 consumiu mais tokens de saída, mas a redução de entrada e de buscas mais que compensou esse componente. Os valores são custos calculados do uso medido a preço de lista, e não valores conciliados de uma fatura.
|
||||||
|
|
||||||
|
## Metodologia
|
||||||
|
|
||||||
|
### 1º turno — regras de seleção
|
||||||
|
|
||||||
|
Cada um dos sete IDs recebe as mesmas 12 perguntas, três por tema. Cada tema pesa 25%. Por pergunta, a eficiência de custo é o menor custo confiável dividido pelo custo do ID; a eficiência de tempo usa a mesma razão com a latência. A nota combina **50% custo, 30% busca confiável e 20% latência**. Respostas não confiáveis recebem zero nos três componentes.
|
||||||
|
|
||||||
|
A elegibilidade exige 12 custos conhecidos e ao menos 11 buscas confiáveis por ID; o corte é 70/100 por configuração. Busca confiável exige HTTP 200, busca concluída com fontes e citações, texto final não vazio e ausência de truncamento. Aliases são agrupados antes da seleção das duas vagas. Pesos, corte, amostra e preços foram congelados antes das inferências desta etapa, no [protocolo do 1º turno](screening/PROTOCOLO.md).
|
||||||
|
|
||||||
|
### Passagem ao 2º turno — por que esta dupla
|
||||||
|
|
||||||
|
Grok 4.3 e Grok 4.20 non-reasoning são as duas configurações com maior nota entre as aprovadas no 1º turno. Ambos oferecem busca nativa funcional via OCI e têm a mesma tarifa base. O 2º turno compara o custo efetivo das mesmas 100 consultas, permitindo verificar quanto o comportamento de busca, o contexto recuperado e a saída gerada alteram a conta final.
|
||||||
|
|
||||||
|
A nota do 1º turno serve à classificação das vagas; o resultado financeiro do 2º turno vem de uma amostra maior. As notas de 12 casos não são extrapoladas para os modelos que não receberam as 100 intenções.
|
||||||
|
|
||||||
|
### Nota sobre a ordem de apresentação
|
||||||
|
|
||||||
|
Os turnos seguem a ordem lógica de leitura. Na execução real, o lote de 100 intenções veio primeiro, com escolha heurística da dupla; a seleção calculada foi realizada depois, como auditoria retrospectiva, e confirmou os mesmos finalistas. Portanto, o 1º turno fundamenta a classificação apresentada, mas não causou historicamente a escolha do lote completo. Os protocolos, manifestos e registros preservam essa cronologia.
|
||||||
|
|
||||||
|
### 2º turno — desenho e execução
|
||||||
|
|
||||||
|
1. **Triagem de compatibilidade:** uma consulta sobre notícia atual por identificador, executando a rota `/api/chat` em processos locais isolados via FastAPI TestClient com inferência OCI real. HTTP 200 isolado não foi suficiente para confirmar busca. Os parâmetros e o runtime dessa etapa estão na [matriz original](../evidence/grok-websearch-models.json).
|
||||||
|
2. **Conjunto pareado:** seleção prévia de 100 intenções, com 25 de cada tema. As perguntas exigem informação atual, como previsão do tempo, agenda, preços, resultados e disponibilidade. Os [prompts e hashes](intents.json) e a [lista legível](INTENCOES.md) foram congelados com referência a 15/10/2026.
|
||||||
|
3. **Envio uniforme:** o coletor do benchmark chama diretamente a Responses API OCI em `us-chicago-1`, endpoint `/v1/responses`, com payload compartilhado idêntico entre os candidatos, diferindo somente `model`. Não chama a API direta da xAI. Cada interação é independente, sem histórico de conversa.
|
||||||
|
4. **Configuração:** `tools: [{"type":"web_search"}]`, `store:false`, máximo de 2.400 tokens de saída e instrução de resposta em até 200 palavras. Temperatura e esforço de raciocínio ficam nos padrões do serviço. Há duas inferências simultâneas, pareadas por intenção e alternadas entre temas.
|
||||||
|
5. **Piloto e retomada:** as quatro primeiras intenções, uma por tema, geraram oito chamadas e integram as 200 finais. Não houve retries automáticos nem repetição do piloto. O controle de orçamento pausou após 170 chamadas; a retomada enviou somente as 30 restantes.
|
||||||
|
6. **Confirmação de busca:** exigir HTTP 200, evento `web_search_call` com ação `search` e status `completed`, fontes não vazias e citações estruturadas. Todas as 200 interações satisfizeram o critério.
|
||||||
|
7. **Auditoria:** conferir 200 chamadas únicas, 100 pares, 25 intenções por tema/modelo, hashes iguais em cada par e composição aritmética dos custos. Há zero interações com custo desconhecido no lote concluído.
|
||||||
|
|
||||||
|
A cobrança por interação é calculada assim:
|
||||||
|
|
||||||
|
```text
|
||||||
|
entrada sem cache = input_tokens - cached_tokens
|
||||||
|
custo = (entrada sem cache × tarifa entrada
|
||||||
|
+ cached_tokens × tarifa cache
|
||||||
|
+ output_tokens × tarifa saída) / 1.000.000
|
||||||
|
+ web_search_calls × 5 / 1.000
|
||||||
|
```
|
||||||
|
|
||||||
|
`cached_tokens` é subconjunto da entrada, e `reasoning_tokens` é subconjunto da saída: nenhum deles é somado novamente. O contexto recuperado pelas ferramentas já aparece nos tokens informados pelo serviço. O contador de chamadas tarifadas é `usage.server_side_tool_usage_details.web_search_calls`; aberturas de página e eventos falhos não são tarifados por uma contagem inferida nossa. O custo é calculado por SKUs Oracle. Na auditoria posterior, `cost_in_usd_ticks` também foi usado para resolver a faixa longa por correspondência única ao cálculo dos SKUs, conforme o [adendo contábil](screening/ADENDO-CONTABILIDADE.md).
|
||||||
|
|
||||||
|
O custo corresponde ao **uso medido valorado a preço de lista**, sem impostos, descontos contratuais, VM, rede ou armazenamento. As chamadas de 14/10 foram reprecificadas pela referência de 15/10 para produzir um consolidado homogêneo. Não há conciliação com faturamento ou análise de todas as possíveis despesas da conta.
|
||||||
|
|
||||||
|
## Estatísticas consolidadas de tokens e tool calls
|
||||||
|
|
||||||
|
### Inventário histórico por identificador — 294 respostas
|
||||||
|
|
||||||
|
| Identificador OCI | Entrada | Cache¹ | Saída | Raciocínio² | Total de tokens | Websearch |
|
||||||
|
|---|---|---|---|---|---|---|
|
||||||
|
| `xai.grok-4.20-0309-non-reasoning` | 586.469 | 269.312 | 12.464 | 0 | 598.933 | 83 |
|
||||||
|
| `xai.grok-4.20-0309-reasoning` | 493.766 | 188.928 | 34.980 | 25.922 | 528.746 | 61 |
|
||||||
|
| `xai.grok-4.20-non-reasoning` | 5.425.184 | 2.451.328 | 104.333 | 0 | 5.529.517 | 728 |
|
||||||
|
| `xai.grok-4.20-reasoning` | 423.457 | 139.392 | 31.739 | 23.469 | 455.196 | 58 |
|
||||||
|
| `xai.grok-4.3` | 2.323.819 | 354.560 | 132.436 | 80.151 | 2.456.255 | 362 |
|
||||||
|
| `xai.grok-4.6` | 981.041 | 449.024 | 43.216 | 35.777 | 1.024.257 | 97 |
|
||||||
|
| `xai.grok-4.7` | 1.812.889 | 1.144.704 | 53.315 | 43.212 | 1.866.204 | 130 |
|
||||||
|
| **Total** | 12.046.625 | 4.997.248 | 412.483 | 208.531 | 12.459.108 | 1.519 |
|
||||||
|
|
||||||
|
¹ Cache é subconjunto da entrada. ² Raciocínio é subconjunto da saída. Total = entrada + saída.
|
||||||
|
|
||||||
|
### Médias unitárias históricas — amostras diferentes
|
||||||
|
|
||||||
|
Estas médias misturam etapas e não classificam os modelos. Para médias pareadas dos sete IDs, usar a [amostra uniforme de 12 perguntas](screening/README.md).
|
||||||
|
|
||||||
|
| ID OCI | Respostas | Tokens/interação | Buscas/interação | USD/interação |
|
||||||
|
|---|---|---|---|---|
|
||||||
|
| `xai.grok-4.20-0309-non-reasoning` | 13 | 46.071,77 | 6,38 | 0,06895913 |
|
||||||
|
| `xai.grok-4.20-0309-reasoning` | 13 | 40.672,77 | 4,69 | 0,06240639 |
|
||||||
|
| `xai.grok-4.20-non-reasoning` | 113 | 48.933,78 | 6,44 | 0,07175591 |
|
||||||
|
| `xai.grok-4.20-reasoning` | 13 | 35.015,08 | 4,46 | 0,05786978 |
|
||||||
|
| `xai.grok-4.3` | 116 | 21.174,61 | 3,12 | 0,04028945 |
|
||||||
|
| `xai.grok-4.6` | 13 | 78.789,00 | 7,46 | 0,15637246 |
|
||||||
|
| `xai.grok-4.7` | 13 | 143.554,15 | 10,00 | 0,28373446 |
|
||||||
|
|
||||||
|
### Lote pareado isolado — 200 interações
|
||||||
|
|
||||||
|
| Métrica | Grok 4.20 non-reasoning | Grok 4.3 | Total do lote |
|
||||||
|
|---|---:|---:|---:|
|
||||||
|
| Tokens de entrada, cache incluído | 4.815.453 | 2.032.728 | 6.848.181 |
|
||||||
|
| Tokens em cache | 2.197.632 | 307.840 | 2.505.472 |
|
||||||
|
| Tokens de saída, raciocínio incluído | 92.770 | 114.653 | 207.423 |
|
||||||
|
| Tokens de raciocínio | 0 | 69.002 | 69.002 |
|
||||||
|
| Chamadas tarifadas de websearch | 647 | 312 | 959 |
|
||||||
|
| Total de tokens: entrada + saída | 4.908.223 | 2.147.381 | 7.055.604 |
|
||||||
|
| Buscas tarifadas por interação, média | 6,47 | 3,12 | 4,795 |
|
||||||
|
| Interações com busca confirmada | 100/100 | 100/100 | 200/200 |
|
||||||
|
|
||||||
|
As **959 chamadas de busca** custaram **US$ 4,795**, ou **42,65%** do custo do lote. O Grok 4.3 realizou **51,78% menos buscas**. Embora tenha gerado mais tokens de saída, incluindo 69.002 de raciocínio, sua menor entrada e menor quantidade de buscas compensaram esse componente de custo.
|
||||||
|
|
||||||
|
## Limitações e conclusão
|
||||||
|
|
||||||
|
**1º turno:** Grok 4.3 e Grok 4.20 non-reasoning ocupam as duas vagas pelo corte operacional. **2º turno:** Grok 4.3 apresenta o menor custo nas 100 perguntas, com economia de 43,38% frente ao outro finalista. Os demais modelos não receberam esse lote completo.
|
||||||
|
|
||||||
|
O [pré-teste retrospectivo](screening/README.md) amplia a evidência para todos os sete IDs, com 12 perguntas iguais, mas não sustenta extrapolação para 100 intenções nem ranking de qualidade factual. Aliases são agrupados em cinco configurações para a seleção das vagas.
|
||||||
|
|
||||||
|
Este estudo mede custo, uso de ferramentas e latência observada. Não pontua correção factual, completude, precisão de datas, cobertura das fontes ou satisfação do usuário. Mais buscas não provam maior qualidade; menos buscas não provam pior qualidade. Uma execução por intenção, cache real do serviço e conteúdo volátil da web limitam a extrapolação. Os resultados valem para os identificadores, região, endpoint, preços e datas documentados.
|
||||||
|
|
||||||
|
Para uma decisão mais ampla de produto, o próximo passo é avaliar as respostas dos mesmos 100 pares com uma rubrica factual e de utilidade, antes de transformar a economia em uma conclusão de custo-benefício com qualidade equivalente.
|
||||||
|
|
||||||
|
## Arquivos e reprodução
|
||||||
|
|
||||||
|
| Arquivo | Conteúdo |
|
||||||
|
|---|---|
|
||||||
|
| [INTENCOES.md](INTENCOES.md) / [intents.json](intents.json) | Lista de 100 intenções e prompts exatos com hashes |
|
||||||
|
| [PROTOCOLO.md](PROTOCOLO.md) | Regras de execução, custos, orçamento e retomada |
|
||||||
|
| [oracle-prices.json](oracle-prices.json) | Preços e SKUs congelados do lote pareado |
|
||||||
|
| [Consolidado atual](screening/financial-consolidation.json) / [baseline](financial-consolidation.json) | 294 respostas com custo conhecido / histórico preservado de 210 |
|
||||||
|
| [Auditoria da seleção](screening/README.md) | 12 perguntas × sete IDs, corte ponderado e resultados |
|
||||||
|
| [run_benchmark.py](run_benchmark.py) | Coletor: padrão dry run; execução paga exige flags e orçamento |
|
||||||
|
| [report.py](report.py) | Regenera relatório do lote a partir dos registros locais, sem inferência |
|
||||||
|
| [Relatório do lote](results/comparison-2026-10-15/REPORT.md) | Custos e estatísticas por categoria |
|
||||||
|
| [CSV por interação](results/comparison-2026-10-15/interactions.csv) | 200 linhas com prompts, tokens e composição de custo |
|
||||||
|
| [Uso medido](results/comparison-2026-10-15/measured-usage.json) | Métricas selecionadas de cada chamada do lote |
|
||||||
|
| [Resumo](results/comparison-2026-10-15/summary.json) / [hashes](results/comparison-2026-10-15/sha256.json) | Totais, manifesto e integridade dos artefatos |
|
||||||
|
| [Matriz original dos sete identificadores](../evidence/grok-websearch-models.json) | Resultados dos testes pontuais de compatibilidade |
|
||||||
|
|
||||||
|
Executados na raiz do repositório:
|
||||||
|
|
||||||
|
```bash
|
||||||
|
# Validar o dataset sem inferência:
|
||||||
|
python benchmarks/run_benchmark.py
|
||||||
|
|
||||||
|
# Regenerar o relatório se os registros locais da execução estiverem presentes:
|
||||||
|
python benchmarks/report.py
|
||||||
|
```
|
||||||
|
|
||||||
|
Para uma nova execução paga, consultar o [protocolo](PROTOCOLO.md), definir orçamento autorizado e usar um novo `--run-id` quando apropriado. Credenciais, respostas brutas e registros operacionais não são versionados. O consolidado agrega as evidências das etapas descritas; sua regeneração não faz inferências. A auditoria retrospectiva acrescentou 84 novas respostas, documentadas separadamente.
|
||||||
840
benchmarks/financial-consolidation.json
Normal file
840
benchmarks/financial-consolidation.json
Normal file
@@ -0,0 +1,840 @@
|
|||||||
|
{
|
||||||
|
"scope": "Todas as 210 chamadas bem-sucedidas com contadores de uso preservados: 3 de validação, 7 de compatibilidade e 200 do benchmark. Erros sem usage ficam fora; não se presume custo zero.",
|
||||||
|
"valuation_date": "2026-10-15",
|
||||||
|
"currency": "USD",
|
||||||
|
"pricing_basis": "Uso medido de 14 e 15/10 reprecificado pela lista Oracle de 15/10/2026, padrão e contexto curto; não é fatura conciliada.",
|
||||||
|
"sources": {
|
||||||
|
"paired_benchmark": "results/comparison-2026-10-15/measured-usage.json",
|
||||||
|
"compatibility_matrix": "../evidence/grok-websearch-models.json",
|
||||||
|
"poc_validation": "Contadores de três chamadas preservados neste JSON; respostas brutas e inventário original permanecem locais."
|
||||||
|
},
|
||||||
|
"pricing": {
|
||||||
|
"list_url": "https://www.oracle.com/cloud/price-list/",
|
||||||
|
"data_url": "https://www.oracle.com/a/ocom/docs/pricing/cloud-price-list.json",
|
||||||
|
"supplement_checked_at": "2026-10-15T14:16:43.202628+00:00",
|
||||||
|
"supplement_data_sha256": "354aa11836c07e2c065700b0efd80253e8c12d9e643e55160fc1ccd9ea7235d9",
|
||||||
|
"rates": {
|
||||||
|
"grok-4.20": {
|
||||||
|
"input_short": {
|
||||||
|
"sku": "B111910",
|
||||||
|
"usd": 1.25
|
||||||
|
},
|
||||||
|
"cached_short": {
|
||||||
|
"sku": "B111911",
|
||||||
|
"usd": 0.2
|
||||||
|
},
|
||||||
|
"output_short": {
|
||||||
|
"sku": "B112076",
|
||||||
|
"usd": 2.5
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"grok-4.3": {
|
||||||
|
"input_short": {
|
||||||
|
"sku": "B112080",
|
||||||
|
"usd": 1.25
|
||||||
|
},
|
||||||
|
"cached_short": {
|
||||||
|
"sku": "B112081",
|
||||||
|
"usd": 0.2
|
||||||
|
},
|
||||||
|
"output_short": {
|
||||||
|
"sku": "B112082",
|
||||||
|
"usd": 2.5
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"grok-4.6": {
|
||||||
|
"input_short": {
|
||||||
|
"sku": "B112086",
|
||||||
|
"usd": 2
|
||||||
|
},
|
||||||
|
"cached_short": {
|
||||||
|
"sku": "B112087",
|
||||||
|
"usd": 0.5
|
||||||
|
},
|
||||||
|
"output_short": {
|
||||||
|
"sku": "B112589",
|
||||||
|
"usd": 6
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"grok-4.7": {
|
||||||
|
"input_short": {
|
||||||
|
"sku": "B113303",
|
||||||
|
"usd": 2
|
||||||
|
},
|
||||||
|
"cached_short": {
|
||||||
|
"sku": "B113304",
|
||||||
|
"usd": 0.5
|
||||||
|
},
|
||||||
|
"output_short": {
|
||||||
|
"sku": "B113305",
|
||||||
|
"usd": 6
|
||||||
|
}
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"web_search": {
|
||||||
|
"sku": "B112610",
|
||||||
|
"usd_per_1000": 5
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"total": {
|
||||||
|
"interactions": 210,
|
||||||
|
"input_tokens": 6949610,
|
||||||
|
"cached_input_tokens": 2527488,
|
||||||
|
"output_tokens": 217197,
|
||||||
|
"reasoning_tokens": 76530,
|
||||||
|
"total_tokens": 7166807,
|
||||||
|
"web_search_calls": 981,
|
||||||
|
"input_usd": "5.54306200",
|
||||||
|
"cached_input_usd": "0.5069184",
|
||||||
|
"output_usd": "0.5502935",
|
||||||
|
"web_search_usd": "4.905",
|
||||||
|
"total_usd": "11.50527390",
|
||||||
|
"mean_usd": "0.05478701857142857142857142857"
|
||||||
|
},
|
||||||
|
"by_stage": {
|
||||||
|
"poc_validation": {
|
||||||
|
"interactions": 3,
|
||||||
|
"input_tokens": 31481,
|
||||||
|
"cached_input_tokens": 12672,
|
||||||
|
"output_tokens": 3348,
|
||||||
|
"reasoning_tokens": 2370,
|
||||||
|
"total_tokens": 34829,
|
||||||
|
"web_search_calls": 9,
|
||||||
|
"input_usd": "0.02351125",
|
||||||
|
"cached_input_usd": "0.0025344",
|
||||||
|
"output_usd": "0.0083700",
|
||||||
|
"web_search_usd": "0.045",
|
||||||
|
"total_usd": "0.07941565",
|
||||||
|
"mean_usd": "0.02647188333333333333333333333"
|
||||||
|
},
|
||||||
|
"compatibility_matrix": {
|
||||||
|
"interactions": 7,
|
||||||
|
"input_tokens": 69948,
|
||||||
|
"cached_input_tokens": 9344,
|
||||||
|
"output_tokens": 6426,
|
||||||
|
"reasoning_tokens": 5158,
|
||||||
|
"total_tokens": 76374,
|
||||||
|
"web_search_calls": 13,
|
||||||
|
"input_usd": "0.0911645",
|
||||||
|
"cached_input_usd": "0.0032896",
|
||||||
|
"output_usd": "0.0233660",
|
||||||
|
"web_search_usd": "0.065",
|
||||||
|
"total_usd": "0.1828201",
|
||||||
|
"mean_usd": "0.02611715714285714285714285714"
|
||||||
|
},
|
||||||
|
"paired_benchmark": {
|
||||||
|
"interactions": 200,
|
||||||
|
"input_tokens": 6848181,
|
||||||
|
"cached_input_tokens": 2505472,
|
||||||
|
"output_tokens": 207423,
|
||||||
|
"reasoning_tokens": 69002,
|
||||||
|
"total_tokens": 7055604,
|
||||||
|
"web_search_calls": 959,
|
||||||
|
"input_usd": "5.42838625",
|
||||||
|
"cached_input_usd": "0.5010944",
|
||||||
|
"output_usd": "0.5185575",
|
||||||
|
"web_search_usd": "4.795",
|
||||||
|
"total_usd": "11.24303815",
|
||||||
|
"mean_usd": "0.05621519075"
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"by_model": {
|
||||||
|
"xai.grok-4.20-0309-non-reasoning": {
|
||||||
|
"interactions": 1,
|
||||||
|
"input_tokens": 10036,
|
||||||
|
"cached_input_tokens": 1024,
|
||||||
|
"output_tokens": 196,
|
||||||
|
"reasoning_tokens": 0,
|
||||||
|
"total_tokens": 10232,
|
||||||
|
"web_search_calls": 2,
|
||||||
|
"input_usd": "0.011265",
|
||||||
|
"cached_input_usd": "0.0002048",
|
||||||
|
"output_usd": "0.00049",
|
||||||
|
"web_search_usd": "0.01",
|
||||||
|
"total_usd": "0.0219598",
|
||||||
|
"mean_usd": "0.0219598"
|
||||||
|
},
|
||||||
|
"xai.grok-4.20-0309-reasoning": {
|
||||||
|
"interactions": 1,
|
||||||
|
"input_tokens": 7712,
|
||||||
|
"cached_input_tokens": 256,
|
||||||
|
"output_tokens": 1491,
|
||||||
|
"reasoning_tokens": 1375,
|
||||||
|
"total_tokens": 9203,
|
||||||
|
"web_search_calls": 1,
|
||||||
|
"input_usd": "0.00932",
|
||||||
|
"cached_input_usd": "0.0000512",
|
||||||
|
"output_usd": "0.0037275",
|
||||||
|
"web_search_usd": "0.005",
|
||||||
|
"total_usd": "0.0180987",
|
||||||
|
"mean_usd": "0.0180987"
|
||||||
|
},
|
||||||
|
"xai.grok-4.20-non-reasoning": {
|
||||||
|
"interactions": 101,
|
||||||
|
"input_tokens": 4826397,
|
||||||
|
"cached_input_tokens": 2198656,
|
||||||
|
"output_tokens": 92994,
|
||||||
|
"reasoning_tokens": 0,
|
||||||
|
"total_tokens": 4919391,
|
||||||
|
"web_search_calls": 649,
|
||||||
|
"input_usd": "3.28467625",
|
||||||
|
"cached_input_usd": "0.4397312",
|
||||||
|
"output_usd": "0.2324850",
|
||||||
|
"web_search_usd": "3.245",
|
||||||
|
"total_usd": "7.20189245",
|
||||||
|
"mean_usd": "0.07130586584158415841584158416"
|
||||||
|
},
|
||||||
|
"xai.grok-4.20-reasoning": {
|
||||||
|
"interactions": 1,
|
||||||
|
"input_tokens": 7882,
|
||||||
|
"cached_input_tokens": 1024,
|
||||||
|
"output_tokens": 1531,
|
||||||
|
"reasoning_tokens": 1329,
|
||||||
|
"total_tokens": 9413,
|
||||||
|
"web_search_calls": 2,
|
||||||
|
"input_usd": "0.0085725",
|
||||||
|
"cached_input_usd": "0.0002048",
|
||||||
|
"output_usd": "0.0038275",
|
||||||
|
"web_search_usd": "0.01",
|
||||||
|
"total_usd": "0.0226048",
|
||||||
|
"mean_usd": "0.0226048"
|
||||||
|
},
|
||||||
|
"xai.grok-4.3": {
|
||||||
|
"interactions": 104,
|
||||||
|
"input_tokens": 2072301,
|
||||||
|
"cached_input_tokens": 321792,
|
||||||
|
"output_tokens": 118899,
|
||||||
|
"reasoning_tokens": 72106,
|
||||||
|
"total_tokens": 2191200,
|
||||||
|
"web_search_calls": 323,
|
||||||
|
"input_usd": "2.18813625",
|
||||||
|
"cached_input_usd": "0.0643584",
|
||||||
|
"output_usd": "0.2972475",
|
||||||
|
"web_search_usd": "1.615",
|
||||||
|
"total_usd": "4.16474215",
|
||||||
|
"mean_usd": "0.04004559759615384615384615385"
|
||||||
|
},
|
||||||
|
"xai.grok-4.6": {
|
||||||
|
"interactions": 1,
|
||||||
|
"input_tokens": 8712,
|
||||||
|
"cached_input_tokens": 1280,
|
||||||
|
"output_tokens": 878,
|
||||||
|
"reasoning_tokens": 732,
|
||||||
|
"total_tokens": 9590,
|
||||||
|
"web_search_calls": 1,
|
||||||
|
"input_usd": "0.014864",
|
||||||
|
"cached_input_usd": "0.00064",
|
||||||
|
"output_usd": "0.005268",
|
||||||
|
"web_search_usd": "0.005",
|
||||||
|
"total_usd": "0.025772",
|
||||||
|
"mean_usd": "0.025772"
|
||||||
|
},
|
||||||
|
"xai.grok-4.7": {
|
||||||
|
"interactions": 1,
|
||||||
|
"input_tokens": 16570,
|
||||||
|
"cached_input_tokens": 3456,
|
||||||
|
"output_tokens": 1208,
|
||||||
|
"reasoning_tokens": 988,
|
||||||
|
"total_tokens": 17778,
|
||||||
|
"web_search_calls": 3,
|
||||||
|
"input_usd": "0.026228",
|
||||||
|
"cached_input_usd": "0.001728",
|
||||||
|
"output_usd": "0.007248",
|
||||||
|
"web_search_usd": "0.015",
|
||||||
|
"total_usd": "0.050204",
|
||||||
|
"mean_usd": "0.050204"
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"compatibility_matrix_by_model": {
|
||||||
|
"xai.grok-4.20-0309-non-reasoning": {
|
||||||
|
"interactions": 1,
|
||||||
|
"input_tokens": 10036,
|
||||||
|
"cached_input_tokens": 1024,
|
||||||
|
"output_tokens": 196,
|
||||||
|
"reasoning_tokens": 0,
|
||||||
|
"total_tokens": 10232,
|
||||||
|
"web_search_calls": 2,
|
||||||
|
"input_usd": "0.011265",
|
||||||
|
"cached_input_usd": "0.0002048",
|
||||||
|
"output_usd": "0.00049",
|
||||||
|
"web_search_usd": "0.01",
|
||||||
|
"total_usd": "0.0219598",
|
||||||
|
"mean_usd": "0.0219598"
|
||||||
|
},
|
||||||
|
"xai.grok-4.20-0309-reasoning": {
|
||||||
|
"interactions": 1,
|
||||||
|
"input_tokens": 7712,
|
||||||
|
"cached_input_tokens": 256,
|
||||||
|
"output_tokens": 1491,
|
||||||
|
"reasoning_tokens": 1375,
|
||||||
|
"total_tokens": 9203,
|
||||||
|
"web_search_calls": 1,
|
||||||
|
"input_usd": "0.00932",
|
||||||
|
"cached_input_usd": "0.0000512",
|
||||||
|
"output_usd": "0.0037275",
|
||||||
|
"web_search_usd": "0.005",
|
||||||
|
"total_usd": "0.0180987",
|
||||||
|
"mean_usd": "0.0180987"
|
||||||
|
},
|
||||||
|
"xai.grok-4.20-non-reasoning": {
|
||||||
|
"interactions": 1,
|
||||||
|
"input_tokens": 10944,
|
||||||
|
"cached_input_tokens": 1024,
|
||||||
|
"output_tokens": 224,
|
||||||
|
"reasoning_tokens": 0,
|
||||||
|
"total_tokens": 11168,
|
||||||
|
"web_search_calls": 2,
|
||||||
|
"input_usd": "0.0124",
|
||||||
|
"cached_input_usd": "0.0002048",
|
||||||
|
"output_usd": "0.00056",
|
||||||
|
"web_search_usd": "0.01",
|
||||||
|
"total_usd": "0.0231648",
|
||||||
|
"mean_usd": "0.0231648"
|
||||||
|
},
|
||||||
|
"xai.grok-4.20-reasoning": {
|
||||||
|
"interactions": 1,
|
||||||
|
"input_tokens": 7882,
|
||||||
|
"cached_input_tokens": 1024,
|
||||||
|
"output_tokens": 1531,
|
||||||
|
"reasoning_tokens": 1329,
|
||||||
|
"total_tokens": 9413,
|
||||||
|
"web_search_calls": 2,
|
||||||
|
"input_usd": "0.0085725",
|
||||||
|
"cached_input_usd": "0.0002048",
|
||||||
|
"output_usd": "0.0038275",
|
||||||
|
"web_search_usd": "0.01",
|
||||||
|
"total_usd": "0.0226048",
|
||||||
|
"mean_usd": "0.0226048"
|
||||||
|
},
|
||||||
|
"xai.grok-4.3": {
|
||||||
|
"interactions": 1,
|
||||||
|
"input_tokens": 8092,
|
||||||
|
"cached_input_tokens": 1280,
|
||||||
|
"output_tokens": 898,
|
||||||
|
"reasoning_tokens": 734,
|
||||||
|
"total_tokens": 8990,
|
||||||
|
"web_search_calls": 2,
|
||||||
|
"input_usd": "0.008515",
|
||||||
|
"cached_input_usd": "0.000256",
|
||||||
|
"output_usd": "0.002245",
|
||||||
|
"web_search_usd": "0.01",
|
||||||
|
"total_usd": "0.021016",
|
||||||
|
"mean_usd": "0.021016"
|
||||||
|
},
|
||||||
|
"xai.grok-4.6": {
|
||||||
|
"interactions": 1,
|
||||||
|
"input_tokens": 8712,
|
||||||
|
"cached_input_tokens": 1280,
|
||||||
|
"output_tokens": 878,
|
||||||
|
"reasoning_tokens": 732,
|
||||||
|
"total_tokens": 9590,
|
||||||
|
"web_search_calls": 1,
|
||||||
|
"input_usd": "0.014864",
|
||||||
|
"cached_input_usd": "0.00064",
|
||||||
|
"output_usd": "0.005268",
|
||||||
|
"web_search_usd": "0.005",
|
||||||
|
"total_usd": "0.025772",
|
||||||
|
"mean_usd": "0.025772"
|
||||||
|
},
|
||||||
|
"xai.grok-4.7": {
|
||||||
|
"interactions": 1,
|
||||||
|
"input_tokens": 16570,
|
||||||
|
"cached_input_tokens": 3456,
|
||||||
|
"output_tokens": 1208,
|
||||||
|
"reasoning_tokens": 988,
|
||||||
|
"total_tokens": 17778,
|
||||||
|
"web_search_calls": 3,
|
||||||
|
"input_usd": "0.026228",
|
||||||
|
"cached_input_usd": "0.001728",
|
||||||
|
"output_usd": "0.007248",
|
||||||
|
"web_search_usd": "0.015",
|
||||||
|
"total_usd": "0.050204",
|
||||||
|
"mean_usd": "0.050204"
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"historical_usage_records": [
|
||||||
|
{
|
||||||
|
"stage": "poc_validation",
|
||||||
|
"date": "2026-10-14",
|
||||||
|
"model": "xai.grok-4.3",
|
||||||
|
"source_file": "route_20231130_actions_v1_responses.json",
|
||||||
|
"usage": {
|
||||||
|
"input_tokens": 7607,
|
||||||
|
"input_tokens_details": {
|
||||||
|
"cached_tokens": 4864
|
||||||
|
},
|
||||||
|
"output_tokens": 1087,
|
||||||
|
"output_tokens_details": {
|
||||||
|
"reasoning_tokens": 843
|
||||||
|
},
|
||||||
|
"total_tokens": 8694,
|
||||||
|
"num_sources_used": 0,
|
||||||
|
"num_server_side_tools_used": 3,
|
||||||
|
"cost_in_usd_ticks": 221190500,
|
||||||
|
"server_side_tool_usage_details": {
|
||||||
|
"web_search_calls": 3,
|
||||||
|
"x_search_calls": 0,
|
||||||
|
"x_posts_fetched": 0,
|
||||||
|
"x_users_fetched": 0,
|
||||||
|
"code_interpreter_calls": 0,
|
||||||
|
"file_search_calls": 0,
|
||||||
|
"mcp_calls": 0,
|
||||||
|
"document_search_calls": 0,
|
||||||
|
"image_generation_calls": 0
|
||||||
|
},
|
||||||
|
"context_details": {
|
||||||
|
"input_tokens": 3680,
|
||||||
|
"output_tokens": 369
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"metrics": {
|
||||||
|
"interactions": 1,
|
||||||
|
"input_tokens": 7607,
|
||||||
|
"cached_input_tokens": 4864,
|
||||||
|
"output_tokens": 1087,
|
||||||
|
"reasoning_tokens": 843,
|
||||||
|
"total_tokens": 8694,
|
||||||
|
"web_search_calls": 3,
|
||||||
|
"input_usd": "0.00342875",
|
||||||
|
"cached_input_usd": "0.0009728",
|
||||||
|
"output_usd": "0.0027175",
|
||||||
|
"web_search_usd": "0.015",
|
||||||
|
"total_usd": "0.02211905"
|
||||||
|
}
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"stage": "poc_validation",
|
||||||
|
"date": "2026-10-14",
|
||||||
|
"model": "xai.grok-4.3",
|
||||||
|
"source_file": "rest-news-today.json",
|
||||||
|
"usage": {
|
||||||
|
"input_tokens": 14359,
|
||||||
|
"input_tokens_details": {
|
||||||
|
"cached_tokens": 5760
|
||||||
|
},
|
||||||
|
"output_tokens": 1185,
|
||||||
|
"output_tokens_details": {
|
||||||
|
"reasoning_tokens": 798
|
||||||
|
},
|
||||||
|
"total_tokens": 15544,
|
||||||
|
"num_sources_used": 0,
|
||||||
|
"num_server_side_tools_used": 3,
|
||||||
|
"cost_in_usd_ticks": 298632500,
|
||||||
|
"server_side_tool_usage_details": {
|
||||||
|
"web_search_calls": 3,
|
||||||
|
"x_search_calls": 0,
|
||||||
|
"x_posts_fetched": 0,
|
||||||
|
"x_users_fetched": 0,
|
||||||
|
"code_interpreter_calls": 0,
|
||||||
|
"file_search_calls": 0,
|
||||||
|
"mcp_calls": 0,
|
||||||
|
"document_search_calls": 0,
|
||||||
|
"image_generation_calls": 0
|
||||||
|
},
|
||||||
|
"context_details": {
|
||||||
|
"input_tokens": 7565,
|
||||||
|
"output_tokens": 466
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"metrics": {
|
||||||
|
"interactions": 1,
|
||||||
|
"input_tokens": 14359,
|
||||||
|
"cached_input_tokens": 5760,
|
||||||
|
"output_tokens": 1185,
|
||||||
|
"reasoning_tokens": 798,
|
||||||
|
"total_tokens": 15544,
|
||||||
|
"web_search_calls": 3,
|
||||||
|
"input_usd": "0.01074875",
|
||||||
|
"cached_input_usd": "0.001152",
|
||||||
|
"output_usd": "0.0029625",
|
||||||
|
"web_search_usd": "0.015",
|
||||||
|
"total_usd": "0.02986325"
|
||||||
|
}
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"stage": "poc_validation",
|
||||||
|
"date": "2026-10-14",
|
||||||
|
"model": "xai.grok-4.3",
|
||||||
|
"source_file": "route_v1_responses.json",
|
||||||
|
"usage": {
|
||||||
|
"input_tokens": 9515,
|
||||||
|
"input_tokens_details": {
|
||||||
|
"cached_tokens": 2048
|
||||||
|
},
|
||||||
|
"output_tokens": 1076,
|
||||||
|
"output_tokens_details": {
|
||||||
|
"reasoning_tokens": 729
|
||||||
|
},
|
||||||
|
"total_tokens": 10591,
|
||||||
|
"num_sources_used": 0,
|
||||||
|
"num_server_side_tools_used": 3,
|
||||||
|
"cost_in_usd_ticks": 274333500,
|
||||||
|
"server_side_tool_usage_details": {
|
||||||
|
"web_search_calls": 3,
|
||||||
|
"x_search_calls": 0,
|
||||||
|
"x_posts_fetched": 0,
|
||||||
|
"x_users_fetched": 0,
|
||||||
|
"code_interpreter_calls": 0,
|
||||||
|
"file_search_calls": 0,
|
||||||
|
"mcp_calls": 0,
|
||||||
|
"document_search_calls": 0,
|
||||||
|
"image_generation_calls": 0
|
||||||
|
},
|
||||||
|
"context_details": {
|
||||||
|
"input_tokens": 8450,
|
||||||
|
"output_tokens": 571
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"metrics": {
|
||||||
|
"interactions": 1,
|
||||||
|
"input_tokens": 9515,
|
||||||
|
"cached_input_tokens": 2048,
|
||||||
|
"output_tokens": 1076,
|
||||||
|
"reasoning_tokens": 729,
|
||||||
|
"total_tokens": 10591,
|
||||||
|
"web_search_calls": 3,
|
||||||
|
"input_usd": "0.00933375",
|
||||||
|
"cached_input_usd": "0.0004096",
|
||||||
|
"output_usd": "0.00269",
|
||||||
|
"web_search_usd": "0.015",
|
||||||
|
"total_usd": "0.02743335"
|
||||||
|
}
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"stage": "compatibility_matrix",
|
||||||
|
"date": "2026-10-14",
|
||||||
|
"model": "xai.grok-4.20-0309-non-reasoning",
|
||||||
|
"usage": {
|
||||||
|
"input_tokens": 10036,
|
||||||
|
"input_tokens_details": {
|
||||||
|
"cached_tokens": 1024
|
||||||
|
},
|
||||||
|
"output_tokens": 196,
|
||||||
|
"output_tokens_details": {
|
||||||
|
"reasoning_tokens": 0
|
||||||
|
},
|
||||||
|
"total_tokens": 10232,
|
||||||
|
"num_sources_used": 0,
|
||||||
|
"num_server_side_tools_used": 2,
|
||||||
|
"cost_in_usd_ticks": 219598000,
|
||||||
|
"server_side_tool_usage_details": {
|
||||||
|
"web_search_calls": 2,
|
||||||
|
"x_search_calls": 0,
|
||||||
|
"x_posts_fetched": 0,
|
||||||
|
"x_users_fetched": 0,
|
||||||
|
"code_interpreter_calls": 0,
|
||||||
|
"file_search_calls": 0,
|
||||||
|
"mcp_calls": 0,
|
||||||
|
"document_search_calls": 0,
|
||||||
|
"image_generation_calls": 0
|
||||||
|
},
|
||||||
|
"context_details": {
|
||||||
|
"input_tokens": 9058,
|
||||||
|
"output_tokens": 138
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"metrics": {
|
||||||
|
"interactions": 1,
|
||||||
|
"input_tokens": 10036,
|
||||||
|
"cached_input_tokens": 1024,
|
||||||
|
"output_tokens": 196,
|
||||||
|
"reasoning_tokens": 0,
|
||||||
|
"total_tokens": 10232,
|
||||||
|
"web_search_calls": 2,
|
||||||
|
"input_usd": "0.011265",
|
||||||
|
"cached_input_usd": "0.0002048",
|
||||||
|
"output_usd": "0.00049",
|
||||||
|
"web_search_usd": "0.01",
|
||||||
|
"total_usd": "0.0219598"
|
||||||
|
}
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"stage": "compatibility_matrix",
|
||||||
|
"date": "2026-10-14",
|
||||||
|
"model": "xai.grok-4.20-0309-reasoning",
|
||||||
|
"usage": {
|
||||||
|
"input_tokens": 7712,
|
||||||
|
"input_tokens_details": {
|
||||||
|
"cached_tokens": 256
|
||||||
|
},
|
||||||
|
"output_tokens": 1491,
|
||||||
|
"output_tokens_details": {
|
||||||
|
"reasoning_tokens": 1375
|
||||||
|
},
|
||||||
|
"total_tokens": 9203,
|
||||||
|
"num_sources_used": 0,
|
||||||
|
"num_server_side_tools_used": 1,
|
||||||
|
"cost_in_usd_ticks": 180987000,
|
||||||
|
"server_side_tool_usage_details": {
|
||||||
|
"web_search_calls": 1,
|
||||||
|
"x_search_calls": 0,
|
||||||
|
"x_posts_fetched": 0,
|
||||||
|
"x_users_fetched": 0,
|
||||||
|
"code_interpreter_calls": 0,
|
||||||
|
"file_search_calls": 0,
|
||||||
|
"mcp_calls": 0,
|
||||||
|
"document_search_calls": 0,
|
||||||
|
"image_generation_calls": 0
|
||||||
|
},
|
||||||
|
"context_details": {
|
||||||
|
"input_tokens": 6732,
|
||||||
|
"output_tokens": 864
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"metrics": {
|
||||||
|
"interactions": 1,
|
||||||
|
"input_tokens": 7712,
|
||||||
|
"cached_input_tokens": 256,
|
||||||
|
"output_tokens": 1491,
|
||||||
|
"reasoning_tokens": 1375,
|
||||||
|
"total_tokens": 9203,
|
||||||
|
"web_search_calls": 1,
|
||||||
|
"input_usd": "0.00932",
|
||||||
|
"cached_input_usd": "0.0000512",
|
||||||
|
"output_usd": "0.0037275",
|
||||||
|
"web_search_usd": "0.005",
|
||||||
|
"total_usd": "0.0180987"
|
||||||
|
}
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"stage": "compatibility_matrix",
|
||||||
|
"date": "2026-10-14",
|
||||||
|
"model": "xai.grok-4.20-non-reasoning",
|
||||||
|
"usage": {
|
||||||
|
"input_tokens": 10944,
|
||||||
|
"input_tokens_details": {
|
||||||
|
"cached_tokens": 1024
|
||||||
|
},
|
||||||
|
"output_tokens": 224,
|
||||||
|
"output_tokens_details": {
|
||||||
|
"reasoning_tokens": 0
|
||||||
|
},
|
||||||
|
"total_tokens": 11168,
|
||||||
|
"num_sources_used": 0,
|
||||||
|
"num_server_side_tools_used": 2,
|
||||||
|
"cost_in_usd_ticks": 231648000,
|
||||||
|
"server_side_tool_usage_details": {
|
||||||
|
"web_search_calls": 2,
|
||||||
|
"x_search_calls": 0,
|
||||||
|
"x_posts_fetched": 0,
|
||||||
|
"x_users_fetched": 0,
|
||||||
|
"code_interpreter_calls": 0,
|
||||||
|
"file_search_calls": 0,
|
||||||
|
"mcp_calls": 0,
|
||||||
|
"document_search_calls": 0,
|
||||||
|
"image_generation_calls": 0
|
||||||
|
},
|
||||||
|
"context_details": {
|
||||||
|
"input_tokens": 9966,
|
||||||
|
"output_tokens": 153
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"metrics": {
|
||||||
|
"interactions": 1,
|
||||||
|
"input_tokens": 10944,
|
||||||
|
"cached_input_tokens": 1024,
|
||||||
|
"output_tokens": 224,
|
||||||
|
"reasoning_tokens": 0,
|
||||||
|
"total_tokens": 11168,
|
||||||
|
"web_search_calls": 2,
|
||||||
|
"input_usd": "0.0124",
|
||||||
|
"cached_input_usd": "0.0002048",
|
||||||
|
"output_usd": "0.00056",
|
||||||
|
"web_search_usd": "0.01",
|
||||||
|
"total_usd": "0.0231648"
|
||||||
|
}
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"stage": "compatibility_matrix",
|
||||||
|
"date": "2026-10-14",
|
||||||
|
"model": "xai.grok-4.20-reasoning",
|
||||||
|
"usage": {
|
||||||
|
"input_tokens": 7882,
|
||||||
|
"input_tokens_details": {
|
||||||
|
"cached_tokens": 1024
|
||||||
|
},
|
||||||
|
"output_tokens": 1531,
|
||||||
|
"output_tokens_details": {
|
||||||
|
"reasoning_tokens": 1329
|
||||||
|
},
|
||||||
|
"total_tokens": 9413,
|
||||||
|
"num_sources_used": 0,
|
||||||
|
"num_server_side_tools_used": 2,
|
||||||
|
"cost_in_usd_ticks": 226048000,
|
||||||
|
"server_side_tool_usage_details": {
|
||||||
|
"web_search_calls": 2,
|
||||||
|
"x_search_calls": 0,
|
||||||
|
"x_posts_fetched": 0,
|
||||||
|
"x_users_fetched": 0,
|
||||||
|
"code_interpreter_calls": 0,
|
||||||
|
"file_search_calls": 0,
|
||||||
|
"mcp_calls": 0,
|
||||||
|
"document_search_calls": 0,
|
||||||
|
"image_generation_calls": 0
|
||||||
|
},
|
||||||
|
"context_details": {
|
||||||
|
"input_tokens": 6902,
|
||||||
|
"output_tokens": 732
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"metrics": {
|
||||||
|
"interactions": 1,
|
||||||
|
"input_tokens": 7882,
|
||||||
|
"cached_input_tokens": 1024,
|
||||||
|
"output_tokens": 1531,
|
||||||
|
"reasoning_tokens": 1329,
|
||||||
|
"total_tokens": 9413,
|
||||||
|
"web_search_calls": 2,
|
||||||
|
"input_usd": "0.0085725",
|
||||||
|
"cached_input_usd": "0.0002048",
|
||||||
|
"output_usd": "0.0038275",
|
||||||
|
"web_search_usd": "0.01",
|
||||||
|
"total_usd": "0.0226048"
|
||||||
|
}
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"stage": "compatibility_matrix",
|
||||||
|
"date": "2026-10-14",
|
||||||
|
"model": "xai.grok-4.3",
|
||||||
|
"usage": {
|
||||||
|
"input_tokens": 8092,
|
||||||
|
"input_tokens_details": {
|
||||||
|
"cached_tokens": 1280
|
||||||
|
},
|
||||||
|
"output_tokens": 898,
|
||||||
|
"output_tokens_details": {
|
||||||
|
"reasoning_tokens": 734
|
||||||
|
},
|
||||||
|
"total_tokens": 8990,
|
||||||
|
"num_sources_used": 0,
|
||||||
|
"num_server_side_tools_used": 2,
|
||||||
|
"cost_in_usd_ticks": 210160000,
|
||||||
|
"server_side_tool_usage_details": {
|
||||||
|
"web_search_calls": 2,
|
||||||
|
"x_search_calls": 0,
|
||||||
|
"x_posts_fetched": 0,
|
||||||
|
"x_users_fetched": 0,
|
||||||
|
"code_interpreter_calls": 0,
|
||||||
|
"file_search_calls": 0,
|
||||||
|
"mcp_calls": 0,
|
||||||
|
"document_search_calls": 0,
|
||||||
|
"image_generation_calls": 0
|
||||||
|
},
|
||||||
|
"context_details": {
|
||||||
|
"input_tokens": 6926,
|
||||||
|
"output_tokens": 456
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"metrics": {
|
||||||
|
"interactions": 1,
|
||||||
|
"input_tokens": 8092,
|
||||||
|
"cached_input_tokens": 1280,
|
||||||
|
"output_tokens": 898,
|
||||||
|
"reasoning_tokens": 734,
|
||||||
|
"total_tokens": 8990,
|
||||||
|
"web_search_calls": 2,
|
||||||
|
"input_usd": "0.008515",
|
||||||
|
"cached_input_usd": "0.000256",
|
||||||
|
"output_usd": "0.002245",
|
||||||
|
"web_search_usd": "0.01",
|
||||||
|
"total_usd": "0.021016"
|
||||||
|
}
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"stage": "compatibility_matrix",
|
||||||
|
"date": "2026-10-14",
|
||||||
|
"model": "xai.grok-4.6",
|
||||||
|
"usage": {
|
||||||
|
"input_tokens": 8712,
|
||||||
|
"input_tokens_details": {
|
||||||
|
"cached_tokens": 1280
|
||||||
|
},
|
||||||
|
"output_tokens": 878,
|
||||||
|
"output_tokens_details": {
|
||||||
|
"reasoning_tokens": 732
|
||||||
|
},
|
||||||
|
"total_tokens": 9590,
|
||||||
|
"num_sources_used": 0,
|
||||||
|
"num_server_side_tools_used": 1,
|
||||||
|
"cost_in_usd_ticks": 257720000,
|
||||||
|
"server_side_tool_usage_details": {
|
||||||
|
"web_search_calls": 1,
|
||||||
|
"x_search_calls": 0,
|
||||||
|
"x_posts_fetched": 0,
|
||||||
|
"x_users_fetched": 0,
|
||||||
|
"code_interpreter_calls": 0,
|
||||||
|
"file_search_calls": 0,
|
||||||
|
"mcp_calls": 0,
|
||||||
|
"document_search_calls": 0,
|
||||||
|
"image_generation_calls": 0
|
||||||
|
},
|
||||||
|
"context_details": {
|
||||||
|
"input_tokens": 7510,
|
||||||
|
"output_tokens": 535
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"metrics": {
|
||||||
|
"interactions": 1,
|
||||||
|
"input_tokens": 8712,
|
||||||
|
"cached_input_tokens": 1280,
|
||||||
|
"output_tokens": 878,
|
||||||
|
"reasoning_tokens": 732,
|
||||||
|
"total_tokens": 9590,
|
||||||
|
"web_search_calls": 1,
|
||||||
|
"input_usd": "0.014864",
|
||||||
|
"cached_input_usd": "0.00064",
|
||||||
|
"output_usd": "0.005268",
|
||||||
|
"web_search_usd": "0.005",
|
||||||
|
"total_usd": "0.025772"
|
||||||
|
}
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"stage": "compatibility_matrix",
|
||||||
|
"date": "2026-10-14",
|
||||||
|
"model": "xai.grok-4.7",
|
||||||
|
"usage": {
|
||||||
|
"input_tokens": 16570,
|
||||||
|
"input_tokens_details": {
|
||||||
|
"cached_tokens": 3456
|
||||||
|
},
|
||||||
|
"output_tokens": 1208,
|
||||||
|
"output_tokens_details": {
|
||||||
|
"reasoning_tokens": 988
|
||||||
|
},
|
||||||
|
"total_tokens": 17778,
|
||||||
|
"num_sources_used": 0,
|
||||||
|
"num_server_side_tools_used": 3,
|
||||||
|
"cost_in_usd_ticks": 502040000,
|
||||||
|
"server_side_tool_usage_details": {
|
||||||
|
"web_search_calls": 3,
|
||||||
|
"x_search_calls": 0,
|
||||||
|
"x_posts_fetched": 0,
|
||||||
|
"x_users_fetched": 0,
|
||||||
|
"code_interpreter_calls": 0,
|
||||||
|
"file_search_calls": 0,
|
||||||
|
"mcp_calls": 0,
|
||||||
|
"document_search_calls": 0,
|
||||||
|
"image_generation_calls": 0
|
||||||
|
},
|
||||||
|
"context_details": {
|
||||||
|
"input_tokens": 14183,
|
||||||
|
"output_tokens": 1022
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"metrics": {
|
||||||
|
"interactions": 1,
|
||||||
|
"input_tokens": 16570,
|
||||||
|
"cached_input_tokens": 3456,
|
||||||
|
"output_tokens": 1208,
|
||||||
|
"reasoning_tokens": 988,
|
||||||
|
"total_tokens": 17778,
|
||||||
|
"web_search_calls": 3,
|
||||||
|
"input_usd": "0.026228",
|
||||||
|
"cached_input_usd": "0.001728",
|
||||||
|
"output_usd": "0.007248",
|
||||||
|
"web_search_usd": "0.015",
|
||||||
|
"total_usd": "0.050204"
|
||||||
|
}
|
||||||
|
}
|
||||||
|
]
|
||||||
|
}
|
||||||
706
benchmarks/intents.json
Normal file
706
benchmarks/intents.json
Normal file
@@ -0,0 +1,706 @@
|
|||||||
|
{
|
||||||
|
"reference_date": "2026-10-15",
|
||||||
|
"timezone": "America/Sao_Paulo",
|
||||||
|
"intents": [
|
||||||
|
{
|
||||||
|
"id": "I001",
|
||||||
|
"category": "culinaria",
|
||||||
|
"intent": "cardápio executivo atualizado",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é o cardápio executivo mais recente do restaurante Figueira Rubaiyat em São Paulo, com preço e dias de funcionamento? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "b2f0fd27c1796c08f39ea4a3d19a6b475a1bb85c9f089545aef1032efe82806f"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I002",
|
||||||
|
"category": "culinaria",
|
||||||
|
"intent": "menu degustação e reserva",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é o menu degustação atual do D.O.M. em São Paulo, quanto custa e como reservar? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "60ae7f85162a875090435a97c34ac9de53e35774aaf370fed930b9aa1e844165"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I003",
|
||||||
|
"category": "culinaria",
|
||||||
|
"intent": "rodízio e preço vigente",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quanto custa hoje o rodízio do Fogo de Chão nos Jardins, em São Paulo, no almoço e no jantar? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "166c8a173d028b26f71a614709d800ba0abc0d7030818d27977607cc270d5478"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I004",
|
||||||
|
"category": "culinaria",
|
||||||
|
"intent": "brunch do próximo domingo",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais hotéis em São Paulo anunciam brunch para o próximo domingo, com preços e horários? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "8496f2847c6920205e32ef7f297b0a76e1d94fba27e5b1200feb8003cdd9ad11"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I005",
|
||||||
|
"category": "culinaria",
|
||||||
|
"intent": "feira gastronômica neste fim de semana",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Que feiras gastronômicas estão confirmadas na cidade de São Paulo para este fim de semana, com endereços e horários? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "06aa842a6049286e749af8a613db0a1375a436d377df134707447876e7e93816"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I006",
|
||||||
|
"category": "culinaria",
|
||||||
|
"intent": "festival gastronômico em andamento",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais festivais gastronômicos estão acontecendo nesta semana em São Paulo, com datas e participantes? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "36d5d240061a327be7d16f82eb8c3405e02a255cd17ec92d91f8d62c5a2d1838"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I007",
|
||||||
|
"category": "culinaria",
|
||||||
|
"intent": "restaurantes recém-abertos",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais restaurantes abriram nos últimos 30 dias em São Paulo e que tipo de comida oferecem? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "a0b6dbb5e582d2ad5b53b984304b7cd0f47bdb7d490fc066a013f9b54483f6f5"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I008",
|
||||||
|
"category": "culinaria",
|
||||||
|
"intent": "estrelas Michelin vigentes",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais restaurantes de São Paulo têm estrelas na edição mais recente do Guia Michelin? Informe a edição consultada. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "df6d7d203948cc57aaf82b08428ebd1eeb4b4de270a2246232a45fa1d9f2aa75"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I009",
|
||||||
|
"category": "culinaria",
|
||||||
|
"intent": "lista Bib Gourmand atual",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais restaurantes do Rio de Janeiro aparecem no Bib Gourmand mais recente, com especialidades e bairros? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "e03a36969449bf23e22becf14a0a199e72a64839fcf30d3b6211503d9a453627"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I010",
|
||||||
|
"category": "culinaria",
|
||||||
|
"intent": "restaurante com opção vegana atual",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais opções veganas aparecem no cardápio atual do restaurante Mocotó em São Paulo e quais são os preços publicados? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "fe8fad1b0a37807ccd57a459a6cdca670eadd132d42e234f7efc6b35d562e6f8"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I011",
|
||||||
|
"category": "culinaria",
|
||||||
|
"intent": "restaurante sem glúten com funcionamento confirmado",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais restaurantes dedicados à alimentação sem glúten em Curitiba estão com funcionamento confirmado nesta semana? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "d9771cd69c8a3343a6809da3214ba07df2b326a17687346dcef71211cf2430ab"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I012",
|
||||||
|
"category": "culinaria",
|
||||||
|
"intent": "serviço gastronômico para feriado",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais restaurantes de Belo Horizonte já anunciaram menus e reservas para o próximo feriado nacional? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "bff3857e0b99118a7e0824ea03ca7ebe0cc3c463905cf3148b62e8df3f180246"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I013",
|
||||||
|
"category": "culinaria",
|
||||||
|
"intent": "aula de culinária com inscrição aberta",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais aulas presenciais de culinária em São Paulo estão com inscrições abertas para os próximos 30 dias, com preços? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "f4fe9f9b1de3a92677fb4346c85efc804ba74a04866d77bc67a7fcf754dd9097"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I014",
|
||||||
|
"category": "culinaria",
|
||||||
|
"intent": "curso de panificação próximo",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é a próxima turma presencial de panificação do Senac em São Paulo com inscrição aberta e qual é o valor anunciado? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "557b1433eb45d29a0b683a480efd1758f218045f2429651078f3f6891ffcde9b"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I015",
|
||||||
|
"category": "culinaria",
|
||||||
|
"intent": "aula infantil em data próxima",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Há oficinas de culinária para crianças no próximo fim de semana em São Paulo? Informe idade, preço e inscrição. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "825f95e78cb8199b330e932c11cfe41c353ba678496465ea24a042a47cc16a5c"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I016",
|
||||||
|
"category": "culinaria",
|
||||||
|
"intent": "chef convidado em evento atual",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais jantares com chefs convidados estão anunciados em São Paulo para os próximos 15 dias? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "72a9621cee30e63c632a21dca73eccd6e66e2c14e60a3423b2ac801bb638a5e3"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I017",
|
||||||
|
"category": "culinaria",
|
||||||
|
"intent": "concurso gastronômico recente",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quem venceu o concurso de melhor queijo no campeonato brasileiro mais recente? Informe o nome e a data do concurso. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "36c3c21fe52815081f09b828331c5c5577a32dc91a296eb0bf059fafd041ee9d"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I018",
|
||||||
|
"category": "culinaria",
|
||||||
|
"intent": "lançamento recente de livro culinário",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais livros de culinária em português foram lançados nos últimos 60 dias, com autoria e editora? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "2716f743db6bc17437f1af7b99c781dabdf39e93a8ea67111d93658834700c8f"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I019",
|
||||||
|
"category": "culinaria",
|
||||||
|
"intent": "receita publicada nesta semana",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Encontre uma receita de jantar publicada nesta semana por um portal culinário brasileiro; informe ingredientes, rendimento e data. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "63b3f4af7501b49b2fb15cfbb567afa4d36e074083baa89e65b597de195a8f4c"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I020",
|
||||||
|
"category": "culinaria",
|
||||||
|
"intent": "receita sazonal recém-publicada",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Encontre uma receita com frutas da estação publicada nos últimos 30 dias no Panelinha; informe a data e a fonte. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "927d03a3c107f465cf5e644f3112472dac0e5661d2a72a02f299bd1d7ff1ebaa"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I021",
|
||||||
|
"category": "culinaria",
|
||||||
|
"intent": "preço atacadista atual de hortaliças",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é a cotação mais recente de tomate e batata na CEAGESP? Informe data, unidade e categoria dos produtos. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "1f0a3d74df62a5e60553aab268936fe97a668c40b7a3a390e9e525c52f237d68"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I022",
|
||||||
|
"category": "culinaria",
|
||||||
|
"intent": "promoção de supermercado vigente",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais ofertas de azeite estão publicadas em encartes online de supermercados de São Paulo com validade incluindo a data de referência? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "f831e4f0436a0b5b920d6ee8b113be8b70a7814c6436ecd1fe290ce7944505e4"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I023",
|
||||||
|
"category": "culinaria",
|
||||||
|
"intent": "harmonização em evento próximo",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais degustações de vinho com harmonização estão agendadas em São Paulo para os próximos sete dias, com valores? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "87374424260a0f38c25b0fcaec78bd000062617bfd38e5d196648b68ab87f897"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I024",
|
||||||
|
"category": "culinaria",
|
||||||
|
"intent": "mercado municipal horário atual",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais são os horários atuais do Mercado Municipal de São Paulo e houve aviso recente de mudança para o próximo fim de semana? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "2056bfe2c73df136ef6533bef8c468a07ae8f75cdd14b309784e94c717729f86"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I025",
|
||||||
|
"category": "culinaria",
|
||||||
|
"intent": "restaurante premiado recentemente",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual restaurante venceu a categoria de melhor restaurante no prêmio gastronômico paulistano mais recentemente divulgado? Identifique prêmio e data. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "146ef1513bfa397764b336a84d63d2fe7574e850307ad0a8aae7fc8303370b23"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I026",
|
||||||
|
"category": "esportes",
|
||||||
|
"intent": "jogos de futebol de hoje",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais jogos de futebol profissional masculino acontecem hoje no Brasil, com horários de Brasília e transmissão anunciada? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "cc3c363608ba21986f05aee36bf85177dc9278eeeee42a1ab4fbb56af9003e93"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I027",
|
||||||
|
"category": "esportes",
|
||||||
|
"intent": "partidas da seleção feminina",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é o próximo jogo confirmado da seleção brasileira feminina de futebol, com adversário, local e transmissão? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "5042539efe0822fbcd47645e86e11a9f25dc7276be67ec89e302f99935b9d91f"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I028",
|
||||||
|
"category": "esportes",
|
||||||
|
"intent": "tabela atual do Brasileirão",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é a classificação mais recente do Campeonato Brasileiro Série A e quando foi atualizada? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "463250edb8f6943e833f00fb7a7efd48e02488a7237ba5549aa34e2e83cbb992"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I029",
|
||||||
|
"category": "esportes",
|
||||||
|
"intent": "resultado mais recente do Palmeiras",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual foi o resultado do jogo oficial mais recente do Palmeiras e qual é o próximo compromisso confirmado? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "3aefaa21238518b45f04dabf4e33eec4d3fe67b5375987d4a23d456af15f6753"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I030",
|
||||||
|
"category": "esportes",
|
||||||
|
"intent": "notícia recente de lesão no Flamengo",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é a atualização publicada nas últimas 48 horas sobre o departamento médico do Flamengo? Cite a data. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "4a0af60c15843545ac9ce4eadf3891f71ea9eb9168d3771b914338704d8d4e4a"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I031",
|
||||||
|
"category": "esportes",
|
||||||
|
"intent": "suspensões para próxima rodada",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais jogadores do Corinthians estão confirmados como suspensos para o próximo jogo oficial? Use informações recentes. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "9bf85366ad390da96fd07ad8592a5b476d2b97311a3fbe505821901d56f30fe5"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I032",
|
||||||
|
"category": "esportes",
|
||||||
|
"intent": "troca de técnico recente",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais clubes da Série A anunciaram mudança de treinador nos últimos sete dias? Se nenhum, declare isso. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "f90bd335c0672905029db52fbc7c077b934d7a7f119df9d6a0fcafbd8451e8d3"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I033",
|
||||||
|
"category": "esportes",
|
||||||
|
"intent": "ingressos para próximo jogo",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. A venda de ingressos para o próximo jogo do São Paulo como mandante está aberta? Informe preços oficiais e canal de venda. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "bd55b71f1bbac235af7290dc2418cc0d246c28e5981b3a22cf91715697e5e3c8"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I034",
|
||||||
|
"category": "esportes",
|
||||||
|
"intent": "final de campeonato com agenda vigente",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é a agenda atualmente confirmada da final da Copa do Brasil desta temporada, com datas e locais definidos? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "5384a493d02b7fda2ed2a6a2c5afba7180e95d56e8d4e39358a3c295e556f030"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I035",
|
||||||
|
"category": "esportes",
|
||||||
|
"intent": "próxima rodada de futebol europeu",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais partidas estão programadas para a próxima rodada da Premier League, com horários convertidos para Brasília? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "e0f41783e6cd148d8510f3df110d8ba637eb1b092f3f3a87946a8ac38d90096d"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I036",
|
||||||
|
"category": "esportes",
|
||||||
|
"intent": "rodada da Champions",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais são os próximos jogos confirmados da UEFA Champions League e onde serão transmitidos no Brasil? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "8a4152e64fdbdce47d0601fc2c2e1da0085b1f7844963d08a3c78968670d0c71"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I037",
|
||||||
|
"category": "esportes",
|
||||||
|
"intent": "calendário próximo da NBA",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais partidas da NBA estão programadas para amanhã e quais têm transmissão anunciada para o Brasil? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "b32f8ac3810f4f4d900fe4122de9a4da84cdce9d5d759a4b7271ca0088298c2e"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I038",
|
||||||
|
"category": "esportes",
|
||||||
|
"intent": "último resultado da WNBA",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual foi o resultado da partida mais recente da WNBA e qual é a situação atual da competição? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "a230e114ae8e7e2af83731e9bd75b05dab25c2bee27d3d3ebf3d308cbe1c083a"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I039",
|
||||||
|
"category": "esportes",
|
||||||
|
"intent": "próxima etapa da Fórmula 1",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é o próximo Grande Prêmio de Fórmula 1 e quais são os horários oficiais de treinos, classificação e corrida em Brasília? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "dfae3c7a38e6bc2cb0be6fb392d474296acba3fb7aacf1b906d3643687ada978"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I040",
|
||||||
|
"category": "esportes",
|
||||||
|
"intent": "classificação vigente da Fórmula 1",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Como estão as classificações de pilotos e construtores da Fórmula 1 após a etapa mais recente? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "73ba09b8c0f24ca2cc9cb5aca8c22d59326e67af7716d7c7cdee5304888a7bd2"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I041",
|
||||||
|
"category": "esportes",
|
||||||
|
"intent": "agenda da MotoGP",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é a próxima etapa da MotoGP e quando serão a sprint e a corrida principal, no horário de Brasília? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "2e617aba7d184538d094f039a3783ec28f28016e4e8a8a17d36dadd5cdb7d130"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I042",
|
||||||
|
"category": "esportes",
|
||||||
|
"intent": "ranking ATP atualizado",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é o top 10 do ranking ATP mais recente e qual é a data dessa atualização? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "d54168523fae67ead3153fd36a9ef0f217b06ffa96af7d93b04142ab0edb23cd"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I043",
|
||||||
|
"category": "esportes",
|
||||||
|
"intent": "ranking WTA atualizado",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é o top 10 do ranking WTA mais recente e qual é a data dessa atualização? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "9ceee58e93946f2f78467ad762ca92d526f7ec7c167580b7c59035402202571c"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I044",
|
||||||
|
"category": "esportes",
|
||||||
|
"intent": "próximo jogo de tenista brasileiro",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é o próximo jogo confirmado de João Fonseca, com adversário, torneio, horário e transmissão se disponíveis? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "43b30b61d37c314c11f3c4f52e544e805bf33d4647d52296eaeef4ab6f88eb75"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I045",
|
||||||
|
"category": "esportes",
|
||||||
|
"intent": "calendário de vôlei da semana",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais partidas da Superliga brasileira de vôlei estão confirmadas para os próximos sete dias, com horários e transmissão? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "f68c7a26a071564bccc19b9d1f200999bcddbd63e14bcd26fcf9c1e47e027227"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I046",
|
||||||
|
"category": "esportes",
|
||||||
|
"intent": "resultado recente de surfe",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quem venceu a etapa mais recente do circuito mundial de surfe e como ficou a classificação? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "04181f46c4ad53f413c2421d890e1bd82b074b4cc4fef13155a808d674fb6e09"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I047",
|
||||||
|
"category": "esportes",
|
||||||
|
"intent": "próximo card do UFC",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é o próximo evento do UFC, quais lutas estão confirmadas e onde assistir no Brasil? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "4bf73cf45fe62d1d17e484418e5c107f3bd191034403cd6748819cf732167c45"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I048",
|
||||||
|
"category": "esportes",
|
||||||
|
"intent": "corrida de rua com inscrições abertas",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais corridas de rua de 5 ou 10 km em São Paulo nos próximos 30 dias ainda anunciam inscrições abertas e preços? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "40e85f3c5c2603662a72fcf6d7f5e3dfa899b2457e9a8955a7ead9025e2c46d5"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I049",
|
||||||
|
"category": "esportes",
|
||||||
|
"intent": "alteração recente de evento esportivo",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Houve cancelamento ou mudança de local de algum grande evento esportivo no Brasil nos últimos sete dias? Cite confirmação oficial. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "dbdefaab651adff7bf7129469f2b3eb020bca70c69e45b0b24246dbdc2913f7a"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I050",
|
||||||
|
"category": "esportes",
|
||||||
|
"intent": "agenda de esporte paralímpico",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais competições paralímpicas com participação brasileira estão confirmadas para os próximos 15 dias, com fontes atuais? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "312ea5d22b3ab4c9de8fbc3f6cac741466a8a4d4f86bbec9dd231ec764528e30"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I051",
|
||||||
|
"category": "clima",
|
||||||
|
"intent": "previsão local de amanhã",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é a previsão para São Bernardo do Campo amanhã, incluindo mínima, máxima e probabilidade de chuva? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "a9fa254aa24d8689cde9fe712b56f13ec09dea545d3b5763316f2e5b22edbb68"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I052",
|
||||||
|
"category": "clima",
|
||||||
|
"intent": "chuva por hora hoje",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é a previsão de chuva por hora para a cidade de São Paulo no restante de hoje? Informe a atualização da fonte. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "93f97d9e6a71d412cbe921e331ade30604de28351001721072dbff4c2ebcef8d"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I053",
|
||||||
|
"category": "clima",
|
||||||
|
"intent": "alerta meteorológico vigente",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Há alertas vigentes do INMET para a região do ABC paulista? Informe gravidade, validade e fenômenos previstos. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "e5c64e0228e32c37d8291180af47094b2278881ba691d482134896f8821e72c3"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I054",
|
||||||
|
"category": "clima",
|
||||||
|
"intent": "frente fria mais recente",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Há previsão atual de chegada de frente fria a São Paulo nos próximos sete dias? Informe a data estimada. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "1544b453e22f89f1be2239568c2dd48460f4d3c970d5e25319fd6e6985f0e77f"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I055",
|
||||||
|
"category": "clima",
|
||||||
|
"intent": "condição para praia no fim de semana",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Como está a previsão para Santos neste fim de semana, com chuva, temperatura e vento? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "077d72f5378780c016306293d53b1a07f63d7941b11287c18a0b9d94452fd7ea"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I056",
|
||||||
|
"category": "clima",
|
||||||
|
"intent": "condição para trilha em data próxima",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é a previsão atual para trilha em Campos do Jordão no próximo sábado de manhã, com chuva e temperatura? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "e4745eff05345e016e8e3a962ab2ac7df60a25bbd98356af67733cc06854e26f"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I057",
|
||||||
|
"category": "clima",
|
||||||
|
"intent": "tempo para evento ao ar livre",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. A previsão atual indica chuva em Curitiba no próximo domingo entre 14h e 18h? Informe as incertezas disponíveis. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "f0f28b0342e2ed4e04b2f53dfb13f970351dd8969e123b39f163aac110bb46cc"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I058",
|
||||||
|
"category": "clima",
|
||||||
|
"intent": "qualidade do ar atual",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é a classificação mais recente da qualidade do ar em São Paulo segundo a CETESB, com horário e estação? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "53d6273049ab05900f2d8ffcc395dee6dfe21584b29328f4ef01f41c76b67151"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I059",
|
||||||
|
"category": "clima",
|
||||||
|
"intent": "umidade relativa prevista",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é a menor umidade relativa prevista para Brasília amanhã e há alerta meteorológico vigente? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "3ecb2911fecf288ff99255840f9c453d481eddc29f44790eef3a58d172013a2c"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I060",
|
||||||
|
"category": "clima",
|
||||||
|
"intent": "índice UV de amanhã",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é a previsão de índice ultravioleta para o Rio de Janeiro amanhã, com horário de pico se disponível? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "dd71adca324631956b2a7b0287ae9affd0358258fc146e14ef0fd33a34b99d77"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I061",
|
||||||
|
"category": "clima",
|
||||||
|
"intent": "onda de calor vigente",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais estados brasileiros têm alertas oficiais vigentes de onda de calor e até quando? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "b0e7eddb6280bfcdc0ce87ff6069583c40b176d01de9c59721c16e4a25ddaa12"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I062",
|
||||||
|
"category": "clima",
|
||||||
|
"intent": "risco de geada próximo",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Há previsão de geada na Serra Catarinense para as próximas 72 horas? Cite boletim e validade. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "456ea61cd91e7d9bc887398bede433672aff22e0c36b46a58cc6b2509ed5f24e"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I063",
|
||||||
|
"category": "clima",
|
||||||
|
"intent": "risco de temporais próximo",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais regiões do Rio Grande do Sul têm previsão oficial de temporais nas próximas 48 horas? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "4c344593b0fd7393b33f63ba887eefcc91820c266c7f4ebfe8b33ff12686105a"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I064",
|
||||||
|
"category": "clima",
|
||||||
|
"intent": "acumulado de chuva recente",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual foi o acumulado de chuva das últimas 24 horas em Recife segundo a fonte oficial mais recente? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "4960499ce27470bf47dc77543ab96216f0581b120056bdbe4d1cfad8e8214e77"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I065",
|
||||||
|
"category": "clima",
|
||||||
|
"intent": "nível atual de rio",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é o nível mais recente do Rio Negro em Manaus, com data e comparação com a medição anterior? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "6d8ea50dc7ec7a65a2668b676a535ed1705cab22acb81a66aba32df9f8a9fb4f"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I066",
|
||||||
|
"category": "clima",
|
||||||
|
"intent": "boletim atual de reservatórios",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é a situação mais recente do Sistema Cantareira, incluindo volume e data do boletim? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "1d2c36088baf7f644f372301b751783cdfb221620b7653bddee88a72b252d20c"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I067",
|
||||||
|
"category": "clima",
|
||||||
|
"intent": "previsão atual de maré",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais são os horários e alturas de maré previstos para o porto de Santos amanhã, segundo uma tábua atual? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "8fba6276765a951499ec0dae3052edb184b45c0713e15f9c1833f163364e58ff"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I068",
|
||||||
|
"category": "clima",
|
||||||
|
"intent": "ressaca vigente",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Há avisos vigentes de ressaca no litoral do Rio de Janeiro? Informe o intervalo de validade e a altura prevista das ondas. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "e2297f0c6597c174c3c0a84c657639c72028b740583273cd165ed5415bc2da10"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I069",
|
||||||
|
"category": "clima",
|
||||||
|
"intent": "vento para passeio de barco",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é a previsão de vento e rajadas para Ilhabela amanhã de manhã, com horário de atualização da fonte? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "f95036ab4fba56be75b93312354fdecf52bc681fa73f716fcf05f7799724965c"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I070",
|
||||||
|
"category": "clima",
|
||||||
|
"intent": "boletim atual de ciclone",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Há algum ciclone tropical ativo no Atlântico segundo o boletim mais recente do NHC? Informe horário e localização, se houver. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "affb802f8b93e68a44e812e70df187e00fe413e0e344ada0845337a35e75f606"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I071",
|
||||||
|
"category": "clima",
|
||||||
|
"intent": "neve prevista em estação de esqui",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é a previsão de neve e a situação operacional atual de Cerro Catedral, na Argentina, para os próximos sete dias? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "c4cccda13cb2763e9edb4772f6f3ae8aef9162f4250c542bae6ad9d199e7be8b"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I072",
|
||||||
|
"category": "clima",
|
||||||
|
"intent": "tempo no destino internacional",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é a previsão de temperatura e chuva em Lisboa para os próximos três dias, com a data da previsão? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "f0f03f1cf133d4e32f1cc5a9bc359eb4cd8a582613651f689117646016e0e14d"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I073",
|
||||||
|
"category": "clima",
|
||||||
|
"intent": "tendência climática recém-publicada",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é o prognóstico climático mais recente do INMET para o próximo trimestre no Sudeste brasileiro? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "14befcfe04587db21aa420684b23b148d4fd523600cd2b675894c7e718d56d1d"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I074",
|
||||||
|
"category": "clima",
|
||||||
|
"intent": "situação recente do El Niño",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é o diagnóstico mais recente de El Niño ou La Niña publicado pela NOAA? Informe data e probabilidade para os próximos meses. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "00d37ab34e44ec20493b5deac4dee19e44e110abb50f96a717c33463fc91a33d"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I075",
|
||||||
|
"category": "clima",
|
||||||
|
"intent": "comparação de previsões atuais",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Compare as previsões atuais do INMET e de outro serviço para a temperatura e chuva em Belo Horizonte amanhã; destaque divergências. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "8c4fda5910f4c2872bac055d0fa55a46bbea65f1343476b325c2766d063ee01c"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I076",
|
||||||
|
"category": "entretenimento",
|
||||||
|
"intent": "estreias de cinema da semana",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais filmes estrearam nos cinemas brasileiros nesta semana? Informe datas e distribuidoras se disponíveis. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "9778318538b87ac507779123be4c4b25da8ff0aa2ec5050381c8a584a93bb80e"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I077",
|
||||||
|
"category": "entretenimento",
|
||||||
|
"intent": "sessões de cinema hoje",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais sessões de cinema estão anunciadas para hoje no Shopping Metrópole, em São Bernardo do Campo, com horários? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "ebc28eb6f391b7202af22b51aac19e2a9f489461f9ef4c1d69f152541d36734e"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I078",
|
||||||
|
"category": "entretenimento",
|
||||||
|
"intent": "lançamentos de streaming da semana",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais filmes e séries chegaram à Netflix Brasil nesta semana? Cite datas e fontes atuais. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "71f6d7c0488c095931acc2e895491c85fec7b9e5bba70eb86310dd001cd50851"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I079",
|
||||||
|
"category": "entretenimento",
|
||||||
|
"intent": "catálogo atual de um filme",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Em quais serviços de streaming no Brasil o filme Duna: Parte Dois está disponível hoje, distinguindo assinatura e aluguel? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "0dc05527e7316957096e43f8ebaecf5c658acb4fe8733d15838fdb1b722ad173"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I080",
|
||||||
|
"category": "entretenimento",
|
||||||
|
"intent": "ranking atual de streaming",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é o top 10 de filmes da Netflix Brasil mais recentemente publicado e a qual período se refere? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "5ee0935cabe24873cebeb0699fd6fca22b6b5bd6f8148534d5288bfeeeb50f8f"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I081",
|
||||||
|
"category": "entretenimento",
|
||||||
|
"intent": "novo episódio de série",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual foi o episódio mais recentemente lançado de Os Anéis de Poder no Brasil e existe data confirmada para o próximo? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "a9ec28d63f4035a0fd5dc24285e1d9794299dd5203664b2461c3541edbb28c3c"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I082",
|
||||||
|
"category": "entretenimento",
|
||||||
|
"intent": "agenda de shows do fim de semana",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais shows de rock estão confirmados na cidade de São Paulo neste fim de semana, com locais e horários? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "1a8a6ba2ea6d1bfefb9db43425227a373fd0516385c4acae5e41da3727f00c4b"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I083",
|
||||||
|
"category": "entretenimento",
|
||||||
|
"intent": "ingressos para show anunciado",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais shows internacionais no Allianz Parque têm venda oficial de ingressos aberta agora, com datas e preços anunciados? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "9c71b9ba79710a0e9586eeeb91e9c45947c27c7277e52a3b1f38c9bd7526c000"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I084",
|
||||||
|
"category": "entretenimento",
|
||||||
|
"intent": "line-up atualizado de festival",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é o line-up oficialmente confirmado da próxima edição do Lollapalooza Brasil e quais são suas datas? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "4709878dc131421deb52cecbd405ef709de0d3232f1d3b9114e52cbdf66c95f3"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I085",
|
||||||
|
"category": "entretenimento",
|
||||||
|
"intent": "mudança recente em apresentação",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais shows no Brasil tiveram cancelamento ou alteração de data anunciados nos últimos sete dias? Use comunicados oficiais. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "1823f16df0ec4de7bc31ab7011fab70a26309d953db5173fa84e4fa263bf3a8a"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I086",
|
||||||
|
"category": "entretenimento",
|
||||||
|
"intent": "peça em cartaz nesta semana",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais peças estão em cartaz nesta semana no Teatro Sérgio Cardoso, com horários e preços? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "a910418c2894e4ef45649f779010cbf9357c2dbfdb3f3f51bc61f59faaad0fa4"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I087",
|
||||||
|
"category": "entretenimento",
|
||||||
|
"intent": "musical com temporada atual",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais musicais estão em temporada na cidade de São Paulo neste mês, com teatros e períodos confirmados? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "34b9a4331c5427a1577341d4243ea868606583391d956edb89573d3a67350b73"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I088",
|
||||||
|
"category": "entretenimento",
|
||||||
|
"intent": "exposição atual em museu",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais exposições estão abertas hoje no MASP e quais são os horários e preços de visita? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "fd4b5a144e67ecc2017ab923c3189260d0df98d4a2b113355c4d55447571aaff"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I089",
|
||||||
|
"category": "entretenimento",
|
||||||
|
"intent": "programação atual de centro cultural",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais atividades gratuitas estão anunciadas pelo Centro Cultural São Paulo para o próximo fim de semana? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "b38f465eece61233a4109a70a60ca48e64ea7a52f159e651ac33d817fc7f4223"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I090",
|
||||||
|
"category": "entretenimento",
|
||||||
|
"intent": "programação infantil próxima",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais atividades infantis estão confirmadas no Sesc Santo André neste fim de semana, com idade indicada e inscrição? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "9be745a0fe63400b46669f2b752d8981185172f74d6e51d6317b77cc84c8180c"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I091",
|
||||||
|
"category": "entretenimento",
|
||||||
|
"intent": "lançamento recente de álbum",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais álbuns de artistas brasileiros foram lançados nos últimos sete dias? Informe artista, título e data. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "2c0f83d9cb7ae97778646aedc15e690380621be6f1c0816d45c4179628b747e2"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I092",
|
||||||
|
"category": "entretenimento",
|
||||||
|
"intent": "parada musical atual",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais músicas lideram o ranking semanal mais recente do Spotify Brasil e qual é o período considerado? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "c34600a15969259bfe73386f704c63da2774503e266a5f80bc9161e5aead7daa"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I093",
|
||||||
|
"category": "entretenimento",
|
||||||
|
"intent": "próximo lançamento de videogame",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais jogos com lançamento confirmado para PlayStation 5 estão previstos para os próximos 15 dias no Brasil? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "857608c05f2c3a770209084078b7a715cc12baed07395260cd335824c89ea126"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I094",
|
||||||
|
"category": "entretenimento",
|
||||||
|
"intent": "promoção vigente de jogos",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais jogos estão gratuitos ou com promoção de 100% oficialmente vigente na Epic Games Store hoje, e até quando? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "fd6247e0d9fdaa128d987d9247b04db30482b1be5cbca9bee2b14a18f6860b18"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I095",
|
||||||
|
"category": "entretenimento",
|
||||||
|
"intent": "atualização recente de videogame",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é a atualização mais recente publicada oficialmente para Fortnite e quais novidades foram anunciadas? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "051861f912cd199ac88f7e54470c4d711060146a34fe3fadb7e4a8708f6cc0f9"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I096",
|
||||||
|
"category": "entretenimento",
|
||||||
|
"intent": "programação de TV de hoje",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é a programação da TV Cultura para hoje à noite, com horários de Brasília e fonte oficial? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "9f3ee324006186656e5bbc1a1ebd262ea5a16be58efa920ad9b8cd613ab1578e"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I097",
|
||||||
|
"category": "entretenimento",
|
||||||
|
"intent": "prêmio cinematográfico recente",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais foram os vencedores das principais categorias da edição mais recente do Festival do Rio? Informe a data da premiação. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "37afb0826b3ae9df311aca85b848589298736a0ebf57de9bf6a910312bb51731"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I098",
|
||||||
|
"category": "entretenimento",
|
||||||
|
"intent": "estreia teatral anunciada",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais espetáculos têm estreia anunciada em São Paulo nos próximos 15 dias, com datas e canais oficiais de ingresso? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "9a3b9d6b756943d7dcc5a0236763ba946e18778a60c42e86f9b4367b20571034"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I099",
|
||||||
|
"category": "entretenimento",
|
||||||
|
"intent": "evento de cultura pop próximo",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais eventos de cultura pop ou quadrinhos estão confirmados no estado de São Paulo para os próximos 30 dias? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "1cb9897fe374c88a1319dbabe4f530faf68a1dcb89bf80edfd1c0043aec60653"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I100",
|
||||||
|
"category": "entretenimento",
|
||||||
|
"intent": "visitação e bilheteria de atração atual",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais são os horários de funcionamento e preços de ingresso atuais do Museu do Futebol em São Paulo e há aviso de fechamento nesta semana? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "f36c95b21499a98c811a51af02247698803d7f387a10737c739ab40795277293"
|
||||||
|
}
|
||||||
|
]
|
||||||
|
}
|
||||||
66
benchmarks/oracle-prices.json
Normal file
66
benchmarks/oracle-prices.json
Normal file
@@ -0,0 +1,66 @@
|
|||||||
|
{
|
||||||
|
"retrieved_at": "2026-10-15T10:32:35.169069-03:00",
|
||||||
|
"price_list_url": "https://www.oracle.com/cloud/price-list/",
|
||||||
|
"data_url": "https://www.oracle.com/a/ocom/docs/pricing/cloud-price-list.json",
|
||||||
|
"data_sha256": "354aa11836c07e2c065700b0efd80253e8c12d9e643e55160fc1ccd9ea7235d9",
|
||||||
|
"currency": "USD",
|
||||||
|
"pricing": "standard; USD por 1 milhão de tokens; busca por 1000 chamadas",
|
||||||
|
"models": {
|
||||||
|
"grok-4.20": {
|
||||||
|
"input_short": {
|
||||||
|
"sku": "B111910",
|
||||||
|
"usd": 1.25
|
||||||
|
},
|
||||||
|
"cached_short": {
|
||||||
|
"sku": "B111911",
|
||||||
|
"usd": 0.2
|
||||||
|
},
|
||||||
|
"output_short": {
|
||||||
|
"sku": "B112076",
|
||||||
|
"usd": 2.5
|
||||||
|
},
|
||||||
|
"input_long": {
|
||||||
|
"sku": "B112077",
|
||||||
|
"usd": 2.5
|
||||||
|
},
|
||||||
|
"cached_long": {
|
||||||
|
"sku": "B112078",
|
||||||
|
"usd": 0.4
|
||||||
|
},
|
||||||
|
"output_long": {
|
||||||
|
"sku": "B112079",
|
||||||
|
"usd": 5
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"grok-4.3": {
|
||||||
|
"input_short": {
|
||||||
|
"sku": "B112080",
|
||||||
|
"usd": 1.25
|
||||||
|
},
|
||||||
|
"cached_short": {
|
||||||
|
"sku": "B112081",
|
||||||
|
"usd": 0.2
|
||||||
|
},
|
||||||
|
"output_short": {
|
||||||
|
"sku": "B112082",
|
||||||
|
"usd": 2.5
|
||||||
|
},
|
||||||
|
"input_long": {
|
||||||
|
"sku": "B112083",
|
||||||
|
"usd": 2.5
|
||||||
|
},
|
||||||
|
"cached_long": {
|
||||||
|
"sku": "B112084",
|
||||||
|
"usd": 0.4
|
||||||
|
},
|
||||||
|
"output_long": {
|
||||||
|
"sku": "B112085",
|
||||||
|
"usd": 5
|
||||||
|
}
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"web_search": {
|
||||||
|
"sku": "B112610",
|
||||||
|
"usd_per_1000": 5
|
||||||
|
}
|
||||||
|
}
|
||||||
121
benchmarks/report.py
Normal file
121
benchmarks/report.py
Normal file
@@ -0,0 +1,121 @@
|
|||||||
|
"""Publica apenas métricas selecionadas do lote local, sem respostas brutas."""
|
||||||
|
import argparse
|
||||||
|
import csv
|
||||||
|
from collections import Counter
|
||||||
|
from decimal import Decimal
|
||||||
|
import hashlib
|
||||||
|
import json
|
||||||
|
import math
|
||||||
|
from pathlib import Path
|
||||||
|
import statistics
|
||||||
|
|
||||||
|
ROOT = Path(__file__).resolve().parent
|
||||||
|
D = lambda value: Decimal(str(value))
|
||||||
|
|
||||||
|
def stats(rows):
|
||||||
|
known = [r for r in rows if r.get('cost', {}).get('total_usd') is not None]
|
||||||
|
values = [D(r['cost']['total_usd']) for r in known]
|
||||||
|
def total(key):
|
||||||
|
return sum((D(r['cost'][key]) for r in known if r['cost'].get(key) is not None), D(0))
|
||||||
|
return {'interactions':len(rows), 'http_200':sum(r.get('http') == 200 for r in rows),
|
||||||
|
'websearch_confirmed':sum(r.get('websearch_confirmed',False) for r in rows),
|
||||||
|
'unknown_cost':len(rows)-len(known), 'total_usd':str(sum(values)),
|
||||||
|
'mean_usd':str(statistics.mean(values)) if values else None,
|
||||||
|
'median_usd':str(statistics.median(values)) if values else None,
|
||||||
|
'p95_usd':str(sorted(values)[math.ceil(.95*len(values))-1]) if values else None,
|
||||||
|
'web_search_usd':str(total('web_search_usd')),
|
||||||
|
'input_usd':str(total('input_usd')), 'cached_input_usd':str(total('cached_input_usd')),
|
||||||
|
'output_usd':str(total('output_usd')),
|
||||||
|
**{key:int(total(key)) for key in ['input_tokens','cached_input_tokens','output_tokens','reasoning_tokens','web_search_calls']},
|
||||||
|
'median_seconds':statistics.median(r['seconds'] for r in rows) if rows else None}
|
||||||
|
|
||||||
|
def main():
|
||||||
|
parser=argparse.ArgumentParser()
|
||||||
|
parser.add_argument('--run-id',default='comparison-2026-10-15')
|
||||||
|
args=parser.parse_args()
|
||||||
|
assert all(c.isalnum() or c in '-_' for c in args.run_id)
|
||||||
|
source=ROOT/'runs'/args.run_id
|
||||||
|
manifest=json.loads((source/'manifest.json').read_text())
|
||||||
|
events=[json.loads(line) for line in (source/'events.jsonl').read_text().splitlines()]
|
||||||
|
rows=[e['result'] for e in events if e['event']=='finished']
|
||||||
|
assert len({(r['model'],r['intent_id']) for r in rows})==len(rows)
|
||||||
|
intents=json.loads((ROOT/'intents.json').read_text())['intents']
|
||||||
|
lookup={r['id']:r for r in intents}
|
||||||
|
for row in rows:
|
||||||
|
assert row['prompt_sha256']==lookup[row['intent_id']]['prompt_sha256']
|
||||||
|
cost=row.get('cost',{})
|
||||||
|
if cost.get('total_usd') is not None:
|
||||||
|
assert D(cost['total_usd'])==sum(D(cost[k]) for k in ['input_usd','cached_input_usd','output_usd','web_search_usd'])
|
||||||
|
models=manifest['models']
|
||||||
|
by_model={m:stats([r for r in rows if r['model']==m]) for m in models}
|
||||||
|
by_category={c:{m:stats([r for r in rows if r['model']==m and r['category']==c]) for m in models}
|
||||||
|
for c in ['culinaria','esportes','clima','entretenimento']}
|
||||||
|
paired=[]
|
||||||
|
for intent in intents:
|
||||||
|
pair=[r for r in rows if r['intent_id']==intent['id']]
|
||||||
|
if len(pair)!=2:continue
|
||||||
|
assert pair[0]['shared_payload_sha256']==pair[1]['shared_payload_sha256']
|
||||||
|
if any(r.get('cost',{}).get('total_usd') is None for r in pair):continue
|
||||||
|
amounts={r['model']:D(r['cost']['total_usd']) for r in pair}
|
||||||
|
minimum=min(amounts.values())
|
||||||
|
winners=[model for model,value in amounts.items() if value==minimum]
|
||||||
|
paired.append({'intent_id':intent['id'],'category':intent['category'],
|
||||||
|
'cheaper_model':winners[0] if len(winners)==1 else 'tie',
|
||||||
|
'all_websearch_confirmed':all(r.get('websearch_confirmed') for r in pair)})
|
||||||
|
full=len(rows)==200 and all(v['interactions']==100 for v in by_model.values())
|
||||||
|
report={'run_id':args.run_id,'status':'complete' if full else 'partial',
|
||||||
|
'method':'100 prompts idênticos por modelo, OCI real, sem histórico e sem retry; concorrência 2',
|
||||||
|
'region':manifest['region'],'reference_date':manifest['reference_date'],
|
||||||
|
'manifest':manifest,'total':stats(rows),'by_model':by_model,'by_category':by_category,
|
||||||
|
'paired_comparisons':len(paired),'paired_cheaper_counts':dict(Counter(p['cheaper_model'] for p in paired)),
|
||||||
|
'billing_note':'Custo calculado de tokens e buscas medidos, a preços de lista Oracle; não é fatura conciliada. Sem impostos, descontos, VM, rede ou armazenamento.',
|
||||||
|
'quality_note':'Confirmação de busca não prova correção factual, completude ou superioridade da resposta.'}
|
||||||
|
target=ROOT/'results'/args.run_id
|
||||||
|
target.mkdir(parents=True,exist_ok=True)
|
||||||
|
(target/'summary.json').write_text(json.dumps(report,ensure_ascii=False,indent=2)+'\n')
|
||||||
|
public=[]
|
||||||
|
for row in rows:
|
||||||
|
public.append({**{key:value for key,value in row.items() if key not in ['provider_response_id']},
|
||||||
|
'intent':lookup[row['intent_id']]['intent']})
|
||||||
|
(target/'measured-usage.json').write_text(json.dumps(public,ensure_ascii=False,indent=2)+'\n')
|
||||||
|
with (source/'interactions.csv').open() as handle:
|
||||||
|
reader=csv.DictReader(handle)
|
||||||
|
fields=list(reader.fieldnames)+['intent','prompt']
|
||||||
|
csvrows=list(reader)
|
||||||
|
with (target/'interactions.csv').open('w') as handle:
|
||||||
|
writer=csv.DictWriter(handle,fieldnames=fields,lineterminator="\n")
|
||||||
|
writer.writeheader()
|
||||||
|
for row in csvrows:
|
||||||
|
intent=lookup[row['intent_id']]
|
||||||
|
writer.writerow({**row,'intent':intent['intent'],'prompt':intent['prompt']})
|
||||||
|
def money(value):return f"{D(value):.6f}" if value is not None else 'indisponível'
|
||||||
|
lines=['# Comparativo de 100 intenções — '+manifest['reference_date'], '',
|
||||||
|
f"Estado: **{report['status']}**. {len(rows)} de 200 interações concluídas.", '',
|
||||||
|
'Resultados calculados do uso medido a preço de lista Oracle, incluindo tokens de busca e chamadas da ferramenta. Não representam fatura OCI conciliada.', '',
|
||||||
|
'| Modelo | Interações | Busca confirmada | Entrada¹ | Cache² | Saída³ | Buscas tarifadas | Custo USD | Média USD | Mediana USD | P95 USD |',
|
||||||
|
'|---|---:|---:|---:|---:|---:|---:|---:|---:|---:|---:|']
|
||||||
|
for model,s in by_model.items():
|
||||||
|
lines.append(f"| `{model}` | {s['interactions']} | {s['websearch_confirmed']} | {s['input_tokens']} | {s['cached_input_tokens']} | {s['output_tokens']} | {s['web_search_calls']} | {money(s['total_usd'])} | {money(s['mean_usd'])} | {money(s['median_usd'])} | {money(s['p95_usd'])} |")
|
||||||
|
lines+=['','¹ Entrada total inclui cache. ² Cache é subconjunto da entrada. ³ Saída inclui raciocínio; este não é somado novamente.', '',
|
||||||
|
'## Custos por categoria', '', '| Categoria | Modelo | Interações | Custo USD | Média USD | Buscas tarifadas |', '|---|---|---:|---:|---:|---:|']
|
||||||
|
for category,model_stats in by_category.items():
|
||||||
|
for model,s in model_stats.items():
|
||||||
|
lines.append(f"| {category} | `{model}` | {s['interactions']} | {money(s['total_usd'])} | {money(s['mean_usd'])} | {s['web_search_calls']} |")
|
||||||
|
lines+=['','## Composição do custo', '', '| Modelo | Entrada sem cache USD | Cache USD | Saída USD | Busca USD | Raciocínio (tokens) | Mediana de tempo (s) |', '|---|---:|---:|---:|---:|---:|---:|']
|
||||||
|
for model,s in by_model.items():
|
||||||
|
lines.append(f"| `{model}` | {money(s['input_usd'])} | {money(s['cached_input_usd'])} | {money(s['output_usd'])} | {money(s['web_search_usd'])} | {s['reasoning_tokens']} | {s['median_seconds']} |")
|
||||||
|
lines+=['','## Auditoria e limites', '',
|
||||||
|
f"- {len(paired)} pares completos com custo conhecido; os hashes do payload compartilhado coincidiram em todos esses pares.",
|
||||||
|
'- Comparações pareadas de menor custo: '+json.dumps(report['paired_cheaper_counts'],ensure_ascii=False)+'.',
|
||||||
|
'- Custos desconhecidos: '+str(report['total']['unknown_cost'])+'; se houver, ficam fora das médias de custo e não são tratados como zero.',
|
||||||
|
'- Uma execução por intenção e modelo, com cache e condições reais do serviço; não há controle de todo o estado interno de cache ou dos resultados voláteis da web.',
|
||||||
|
'- A mesma pergunta pode provocar números diferentes de buscas e tamanhos de contexto. Esse comportamento faz parte do custo observado.',
|
||||||
|
'- Busca confirmada exige ação search completed, fontes e citações estruturadas. Isso não substitui avaliação factual da resposta.',
|
||||||
|
'- Preços e metodologia: [protocolo](../../PROTOCOLO.md) e [SKUs Oracle](../../oracle-prices.json).',
|
||||||
|
'- [CSV por interação](interactions.csv), [métricas e composição de custo](measured-usage.json), [resumo estruturado](summary.json).', '']
|
||||||
|
(target/'REPORT.md').write_text('\n'.join(lines))
|
||||||
|
files=['summary.json','measured-usage.json','interactions.csv','REPORT.md']
|
||||||
|
(target/'sha256.json').write_text(json.dumps({name:hashlib.sha256((target/name).read_bytes()).hexdigest() for name in files},indent=2)+'\n')
|
||||||
|
print(f"{report['status']}: {len(rows)}/200; USD {report['total']['total_usd']}; artefatos em benchmarks/results/{args.run_id}/")
|
||||||
|
|
||||||
|
if __name__=='__main__':main()
|
||||||
43
benchmarks/results/comparison-2026-10-15/REPORT.md
Normal file
43
benchmarks/results/comparison-2026-10-15/REPORT.md
Normal file
@@ -0,0 +1,43 @@
|
|||||||
|
# Comparativo de 100 intenções — 2026-10-15
|
||||||
|
|
||||||
|
Estado: **complete**. 200 de 200 interações concluídas.
|
||||||
|
|
||||||
|
Resultados calculados do uso medido a preço de lista Oracle, incluindo tokens de busca e chamadas da ferramenta. Não representam fatura OCI conciliada.
|
||||||
|
|
||||||
|
| Modelo | Interações | Busca confirmada | Entrada¹ | Cache² | Saída³ | Buscas tarifadas | Custo USD | Média USD | Mediana USD | P95 USD |
|
||||||
|
|---|---:|---:|---:|---:|---:|---:|---:|---:|---:|---:|
|
||||||
|
| `xai.grok-4.20-non-reasoning` | 100 | 100 | 4815453 | 2197632 | 92770 | 647 | 7.178728 | 0.071787 | 0.069751 | 0.094497 |
|
||||||
|
| `xai.grok-4.3` | 100 | 100 | 2032728 | 307840 | 114653 | 312 | 4.064310 | 0.040643 | 0.038978 | 0.056172 |
|
||||||
|
|
||||||
|
¹ Entrada total inclui cache. ² Cache é subconjunto da entrada. ³ Saída inclui raciocínio; este não é somado novamente.
|
||||||
|
|
||||||
|
## Custos por categoria
|
||||||
|
|
||||||
|
| Categoria | Modelo | Interações | Custo USD | Média USD | Buscas tarifadas |
|
||||||
|
|---|---|---:|---:|---:|---:|
|
||||||
|
| culinaria | `xai.grok-4.20-non-reasoning` | 25 | 1.676109 | 0.067044 | 160 |
|
||||||
|
| culinaria | `xai.grok-4.3` | 25 | 1.053508 | 0.042140 | 82 |
|
||||||
|
| esportes | `xai.grok-4.20-non-reasoning` | 25 | 1.881921 | 0.075277 | 158 |
|
||||||
|
| esportes | `xai.grok-4.3` | 25 | 0.976945 | 0.039078 | 71 |
|
||||||
|
| clima | `xai.grok-4.20-non-reasoning` | 25 | 1.818597 | 0.072744 | 164 |
|
||||||
|
| clima | `xai.grok-4.3` | 25 | 0.966295 | 0.038652 | 77 |
|
||||||
|
| entretenimento | `xai.grok-4.20-non-reasoning` | 25 | 1.802101 | 0.072084 | 165 |
|
||||||
|
| entretenimento | `xai.grok-4.3` | 25 | 1.067563 | 0.042703 | 82 |
|
||||||
|
|
||||||
|
## Composição do custo
|
||||||
|
|
||||||
|
| Modelo | Entrada sem cache USD | Cache USD | Saída USD | Busca USD | Raciocínio (tokens) | Mediana de tempo (s) |
|
||||||
|
|---|---:|---:|---:|---:|---:|---:|
|
||||||
|
| `xai.grok-4.20-non-reasoning` | 3.272276 | 0.439526 | 0.231925 | 3.235000 | 0 | 13.5515 |
|
||||||
|
| `xai.grok-4.3` | 2.156110 | 0.061568 | 0.286632 | 1.560000 | 69002 | 10.594999999999999 |
|
||||||
|
|
||||||
|
## Auditoria e limites
|
||||||
|
|
||||||
|
- 100 pares completos com custo conhecido; os hashes do payload compartilhado coincidiram em todos esses pares.
|
||||||
|
- Comparações pareadas de menor custo: {"xai.grok-4.3": 95, "xai.grok-4.20-non-reasoning": 5}.
|
||||||
|
- Custos desconhecidos: 0; se houver, ficam fora das médias de custo e não são tratados como zero.
|
||||||
|
- Uma execução por intenção e modelo, com cache e condições reais do serviço; não há controle de todo o estado interno de cache ou dos resultados voláteis da web.
|
||||||
|
- A mesma pergunta pode provocar números diferentes de buscas e tamanhos de contexto. Esse comportamento faz parte do custo observado.
|
||||||
|
- Busca confirmada exige ação search completed, fontes e citações estruturadas. Isso não substitui avaliação factual da resposta.
|
||||||
|
- Preços e metodologia: [protocolo](../../PROTOCOLO.md) e [SKUs Oracle](../../oracle-prices.json).
|
||||||
|
- [CSV por interação](interactions.csv), [métricas e composição de custo](measured-usage.json), [resumo estruturado](summary.json).
|
||||||
201
benchmarks/results/comparison-2026-10-15/interactions.csv
Normal file
201
benchmarks/results/comparison-2026-10-15/interactions.csv
Normal file
@@ -0,0 +1,201 @@
|
|||||||
|
intent_id,category,model,http,websearch_confirmed,seconds,input_tokens,cached_input_tokens,output_tokens,reasoning_tokens,web_search_calls,input_usd,cached_input_usd,output_usd,web_search_usd,total_usd,cost_status,citation_count,source_count,prompt_sha256,shared_payload_sha256,intent,prompt
|
||||||
|
I001,culinaria,xai.grok-4.20-non-reasoning,200,True,10.978,27791,1152,738,0,5,0.03329875,0.0002304,0.001845,0.025,0.06037415,computed_from_measured_usage,4,20,b2f0fd27c1796c08f39ea4a3d19a6b475a1bb85c9f089545aef1032efe82806f,d942d15aa2f42a481e452bc1b767f5af4581a3baeba6a7f4e8c40d28e4adc7eb,cardápio executivo atualizado,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é o cardápio executivo mais recente do restaurante Figueira Rubaiyat em São Paulo, com preço e dias de funcionamento? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I001,culinaria,xai.grok-4.3,200,True,11.443,28722,11904,1054,628,5,0.0210225,0.0023808,0.002635,0.025,0.0510383,computed_from_measured_usage,7,25,b2f0fd27c1796c08f39ea4a3d19a6b475a1bb85c9f089545aef1032efe82806f,d942d15aa2f42a481e452bc1b767f5af4581a3baeba6a7f4e8c40d28e4adc7eb,cardápio executivo atualizado,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é o cardápio executivo mais recente do restaurante Figueira Rubaiyat em São Paulo, com preço e dias de funcionamento? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I026,esportes,xai.grok-4.20-non-reasoning,200,True,10.791,65181,31232,1037,0,8,0.04243625,0.0062464,0.0025925,0.04,0.09127515,computed_from_measured_usage,4,50,cc3c363608ba21986f05aee36bf85177dc9278eeeee42a1ab4fbb56af9003e93,968dba9d37f741bb6c93ff82996e648c8a662ab2bc3e5b3e94df115877931dbb,jogos de futebol de hoje,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais jogos de futebol profissional masculino acontecem hoje no Brasil, com horários de Brasília e transmissão anunciada? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I026,esportes,xai.grok-4.3,200,True,9.492,23599,1280,968,620,3,0.02789875,0.000256,0.00242,0.015,0.04557475,computed_from_measured_usage,7,35,cc3c363608ba21986f05aee36bf85177dc9278eeeee42a1ab4fbb56af9003e93,968dba9d37f741bb6c93ff82996e648c8a662ab2bc3e5b3e94df115877931dbb,jogos de futebol de hoje,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais jogos de futebol profissional masculino acontecem hoje no Brasil, com horários de Brasília e transmissão anunciada? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I051,clima,xai.grok-4.20-non-reasoning,200,True,12.887,51458,25216,762,0,5,0.0328025,0.0050432,0.001905,0.025,0.0647507,computed_from_measured_usage,3,25,a9fa254aa24d8689cde9fe712b56f13ec09dea545d3b5763316f2e5b22edbb68,f18b58b9b2ee5f926ce4f1e58f3496043737403833f6ee41eb9add45dd5544ab,previsão local de amanhã,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é a previsão para São Bernardo do Campo amanhã, incluindo mínima, máxima e probabilidade de chuva? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I051,clima,xai.grok-4.3,200,True,11.112,25771,1152,1328,853,3,0.03077375,0.0002304,0.00332,0.015,0.04932415,computed_from_measured_usage,7,25,a9fa254aa24d8689cde9fe712b56f13ec09dea545d3b5763316f2e5b22edbb68,f18b58b9b2ee5f926ce4f1e58f3496043737403833f6ee41eb9add45dd5544ab,previsão local de amanhã,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é a previsão para São Bernardo do Campo amanhã, incluindo mínima, máxima e probabilidade de chuva? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I076,entretenimento,xai.grok-4.20-non-reasoning,200,True,14.75,60200,384,1242,0,7,0.07477,0.0000768,0.003105,0.035,0.1129518,computed_from_measured_usage,12,45,9778318538b87ac507779123be4c4b25da8ff0aa2ec5050381c8a584a93bb80e,829413e9b3361cfd2c582be59623471b60b42dd0cc0f15157cc363514d6aa32d,estreias de cinema da semana,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais filmes estrearam nos cinemas brasileiros nesta semana? Informe datas e distribuidoras se disponíveis. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I076,entretenimento,xai.grok-4.3,200,True,8.709,14913,2176,1142,680,3,0.01592125,0.0004352,0.002855,0.015,0.03421145,computed_from_measured_usage,6,20,9778318538b87ac507779123be4c4b25da8ff0aa2ec5050381c8a584a93bb80e,829413e9b3361cfd2c582be59623471b60b42dd0cc0f15157cc363514d6aa32d,estreias de cinema da semana,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais filmes estrearam nos cinemas brasileiros nesta semana? Informe datas e distribuidoras se disponíveis. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I002,culinaria,xai.grok-4.20-non-reasoning,200,True,10.812,33990,18048,866,0,6,0.0199275,0.0036096,0.002165,0.03,0.0557021,computed_from_measured_usage,3,27,60ae7f85162a875090435a97c34ac9de53e35774aaf370fed930b9aa1e844165,2c1fc9bb417331072e9bdd50313b222aa6f5bd11a3d19e6c45b41800ad669df9,menu degustação e reserva,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é o menu degustação atual do D.O.M. em São Paulo, quanto custa e como reservar? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I002,culinaria,xai.grok-4.3,200,True,7.71,13926,1280,897,472,3,0.0158075,0.000256,0.0022425,0.015,0.0333060,computed_from_measured_usage,7,21,60ae7f85162a875090435a97c34ac9de53e35774aaf370fed930b9aa1e844165,2c1fc9bb417331072e9bdd50313b222aa6f5bd11a3d19e6c45b41800ad669df9,menu degustação e reserva,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é o menu degustação atual do D.O.M. em São Paulo, quanto custa e como reservar? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I027,esportes,xai.grok-4.20-non-reasoning,200,True,7.411,56124,21632,497,0,6,0.043115,0.0043264,0.0012425,0.03,0.0786839,computed_from_measured_usage,2,60,5042539efe0822fbcd47645e86e11a9f25dc7276be67ec89e302f99935b9d91f,8aa61e41d3c29bebf90a0972eb9d168f21c11e118ea694878bb2a38697dfc076,partidas da seleção feminina,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é o próximo jogo confirmado da seleção brasileira feminina de futebol, com adversário, local e transmissão? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I027,esportes,xai.grok-4.3,200,True,6.807,15970,1280,807,497,3,0.0183625,0.000256,0.0020175,0.015,0.0356360,computed_from_measured_usage,3,25,5042539efe0822fbcd47645e86e11a9f25dc7276be67ec89e302f99935b9d91f,8aa61e41d3c29bebf90a0972eb9d168f21c11e118ea694878bb2a38697dfc076,partidas da seleção feminina,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é o próximo jogo confirmado da seleção brasileira feminina de futebol, com adversário, local e transmissão? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I052,clima,xai.grok-4.20-non-reasoning,200,True,12.139,59264,29056,948,0,6,0.03776,0.0058112,0.00237,0.03,0.0759412,computed_from_measured_usage,2,35,93f97d9e6a71d412cbe921e331ade30604de28351001721072dbff4c2ebcef8d,42220e1104b2bd72ced322a5ce1de160c0651fcdb4e285619ec206bccac91365,chuva por hora hoje,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é a previsão de chuva por hora para a cidade de São Paulo no restante de hoje? Informe a atualização da fonte. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I052,clima,xai.grok-4.3,200,True,10.244,16308,1152,1148,674,3,0.018945,0.0002304,0.00287,0.015,0.0370454,computed_from_measured_usage,4,20,93f97d9e6a71d412cbe921e331ade30604de28351001721072dbff4c2ebcef8d,42220e1104b2bd72ced322a5ce1de160c0651fcdb4e285619ec206bccac91365,chuva por hora hoje,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é a previsão de chuva por hora para a cidade de São Paulo no restante de hoje? Informe a atualização da fonte. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I077,entretenimento,xai.grok-4.20-non-reasoning,200,True,8.989,38087,13312,784,0,7,0.03096875,0.0026624,0.00196,0.035,0.07059115,computed_from_measured_usage,6,33,ebc28eb6f391b7202af22b51aac19e2a9f489461f9ef4c1d69f152541d36734e,8189c9573160ae7e56c15f50a8079a69173ac019d309f0343b144206263836ec,sessões de cinema hoje,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais sessões de cinema estão anunciadas para hoje no Shopping Metrópole, em São Bernardo do Campo, com horários? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I077,entretenimento,xai.grok-4.3,200,True,11.752,42631,2176,1427,751,5,0.05056875,0.0004352,0.0035675,0.025,0.07957145,computed_from_measured_usage,5,31,ebc28eb6f391b7202af22b51aac19e2a9f489461f9ef4c1d69f152541d36734e,8189c9573160ae7e56c15f50a8079a69173ac019d309f0343b144206263836ec,sessões de cinema hoje,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais sessões de cinema estão anunciadas para hoje no Shopping Metrópole, em São Bernardo do Campo, com horários? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I003,culinaria,xai.grok-4.20-non-reasoning,200,True,10.555,30800,14336,785,0,6,0.02058,0.0028672,0.0019625,0.03,0.0554097,computed_from_measured_usage,5,25,166c8a173d028b26f71a614709d800ba0abc0d7030818d27977607cc270d5478,e3fcb461f82bf1707b92986eb1c01c1fac21675cd44505e3046ec996f11ffc6b,rodízio e preço vigente,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quanto custa hoje o rodízio do Fogo de Chão nos Jardins, em São Paulo, no almoço e no jantar? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I003,culinaria,xai.grok-4.3,200,True,7.103,20696,2176,930,520,3,0.02315,0.0004352,0.002325,0.015,0.0409102,computed_from_measured_usage,5,30,166c8a173d028b26f71a614709d800ba0abc0d7030818d27977607cc270d5478,e3fcb461f82bf1707b92986eb1c01c1fac21675cd44505e3046ec996f11ffc6b,rodízio e preço vigente,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quanto custa hoje o rodízio do Fogo de Chão nos Jardins, em São Paulo, no almoço e no jantar? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I028,esportes,xai.grok-4.20-non-reasoning,200,True,13.053,64981,32000,1112,0,6,0.04122625,0.0064,0.00278,0.03,0.08040625,computed_from_measured_usage,3,35,463250edb8f6943e833f00fb7a7efd48e02488a7237ba5549aa34e2e83cbb992,ece14add647aa049afca48bbd677b5c99ae65f890c071687fad36afac4dad97e,tabela atual do Brasileirão,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é a classificação mais recente do Campeonato Brasileiro Série A e quando foi atualizada? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I028,esportes,xai.grok-4.3,200,True,6.806,18680,2176,986,529,2,0.02063,0.0004352,0.002465,0.01,0.0335302,computed_from_measured_usage,6,15,463250edb8f6943e833f00fb7a7efd48e02488a7237ba5549aa34e2e83cbb992,ece14add647aa049afca48bbd677b5c99ae65f890c071687fad36afac4dad97e,tabela atual do Brasileirão,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é a classificação mais recente do Campeonato Brasileiro Série A e quando foi atualizada? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I053,clima,xai.grok-4.20-non-reasoning,200,True,15.092,54766,28288,935,0,7,0.0330975,0.0056576,0.0023375,0.035,0.0760926,computed_from_measured_usage,5,45,e5c64e0228e32c37d8291180af47094b2278881ba691d482134896f8821e72c3,c91da8c4e81c28f2efa62a191bf494c09a64af210dbabf3647bfe561e82b67bc,alerta meteorológico vigente,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Há alertas vigentes do INMET para a região do ABC paulista? Informe gravidade, validade e fenômenos previstos. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I053,clima,xai.grok-4.3,200,True,7.346,17354,2176,928,547,3,0.0189725,0.0004352,0.00232,0.015,0.0367277,computed_from_measured_usage,5,25,e5c64e0228e32c37d8291180af47094b2278881ba691d482134896f8821e72c3,c91da8c4e81c28f2efa62a191bf494c09a64af210dbabf3647bfe561e82b67bc,alerta meteorológico vigente,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Há alertas vigentes do INMET para a região do ABC paulista? Informe gravidade, validade e fenômenos previstos. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I078,entretenimento,xai.grok-4.20-non-reasoning,200,True,24.134,62860,30080,1144,0,8,0.040975,0.006016,0.00286,0.04,0.089851,computed_from_measured_usage,8,50,71f6d7c0488c095931acc2e895491c85fec7b9e5bba70eb86310dd001cd50851,a76c72566d0cc79f56f7bf2974b03747760ae9e10aed07b32c9c12f1cb3b320f,lançamentos de streaming da semana,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais filmes e séries chegaram à Netflix Brasil nesta semana? Cite datas e fontes atuais. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I078,entretenimento,xai.grok-4.3,200,True,9.114,17640,1152,1219,727,3,0.02061,0.0002304,0.0030475,0.015,0.0388879,computed_from_measured_usage,3,25,71f6d7c0488c095931acc2e895491c85fec7b9e5bba70eb86310dd001cd50851,a76c72566d0cc79f56f7bf2974b03747760ae9e10aed07b32c9c12f1cb3b320f,lançamentos de streaming da semana,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais filmes e séries chegaram à Netflix Brasil nesta semana? Cite datas e fontes atuais. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I004,culinaria,xai.grok-4.20-non-reasoning,200,True,14.515,37708,14720,1281,0,6,0.028735,0.002944,0.0032025,0.03,0.0648815,computed_from_measured_usage,9,41,8496f2847c6920205e32ef7f297b0a76e1d94fba27e5b1200feb8003cdd9ad11,c2024c1b2f572734d238a57038f5e31328b005f104d70b5ae14f6aa53dafa256,brunch do próximo domingo,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais hotéis em São Paulo anunciam brunch para o próximo domingo, com preços e horários? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I004,culinaria,xai.grok-4.3,200,True,9.569,17236,1280,1128,657,3,0.019945,0.000256,0.00282,0.015,0.038021,computed_from_measured_usage,3,25,8496f2847c6920205e32ef7f297b0a76e1d94fba27e5b1200feb8003cdd9ad11,c2024c1b2f572734d238a57038f5e31328b005f104d70b5ae14f6aa53dafa256,brunch do próximo domingo,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais hotéis em São Paulo anunciam brunch para o próximo domingo, com preços e horários? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I029,esportes,xai.grok-4.20-non-reasoning,200,True,9.952,50804,24576,773,0,6,0.032785,0.0049152,0.0019325,0.03,0.0696327,computed_from_measured_usage,3,40,3aefaa21238518b45f04dabf4e33eec4d3fe67b5375987d4a23d456af15f6753,28829311a99f2e0fbe699a2a918bb6b52506aa49433a3f4939bae7439558e7d4,resultado mais recente do Palmeiras,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual foi o resultado do jogo oficial mais recente do Palmeiras e qual é o próximo compromisso confirmado? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I029,esportes,xai.grok-4.3,200,True,6.597,21103,2176,867,546,3,0.02365875,0.0004352,0.0021675,0.015,0.04126145,computed_from_measured_usage,5,25,3aefaa21238518b45f04dabf4e33eec4d3fe67b5375987d4a23d456af15f6753,28829311a99f2e0fbe699a2a918bb6b52506aa49433a3f4939bae7439558e7d4,resultado mais recente do Palmeiras,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual foi o resultado do jogo oficial mais recente do Palmeiras e qual é o próximo compromisso confirmado? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I054,clima,xai.grok-4.20-non-reasoning,200,True,10.779,39822,20096,807,0,6,0.0246575,0.0040192,0.0020175,0.03,0.0606942,computed_from_measured_usage,4,30,1544b453e22f89f1be2239568c2dd48460f4d3c970d5e25319fd6e6985f0e77f,dd4bc2640c4dbdf36c003de01632791497a02a8f5a163c48dd02f4ba2f24500d,frente fria mais recente,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Há previsão atual de chegada de frente fria a São Paulo nos próximos sete dias? Informe a data estimada. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I054,clima,xai.grok-4.3,200,True,6.981,15022,2176,920,613,3,0.0160575,0.0004352,0.0023,0.015,0.0337927,computed_from_measured_usage,3,20,1544b453e22f89f1be2239568c2dd48460f4d3c970d5e25319fd6e6985f0e77f,dd4bc2640c4dbdf36c003de01632791497a02a8f5a163c48dd02f4ba2f24500d,frente fria mais recente,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Há previsão atual de chegada de frente fria a São Paulo nos próximos sete dias? Informe a data estimada. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I079,entretenimento,xai.grok-4.20-non-reasoning,200,True,13.673,31961,16896,856,0,6,0.01883125,0.0033792,0.00214,0.03,0.05435045,computed_from_measured_usage,3,26,0dc05527e7316957096e43f8ebaecf5c658acb4fe8733d15838fdb1b722ad173,fab28995677e60678d6f8789a02afe14d709a2013c93e1114d1457b1f7b0cbd9,catálogo atual de um filme,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Em quais serviços de streaming no Brasil o filme Duna: Parte Dois está disponível hoje, distinguindo assinatura e aluguel? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I079,entretenimento,xai.grok-4.3,200,True,8.096,17142,2176,842,560,3,0.0187075,0.0004352,0.002105,0.015,0.0362477,computed_from_measured_usage,3,25,0dc05527e7316957096e43f8ebaecf5c658acb4fe8733d15838fdb1b722ad173,fab28995677e60678d6f8789a02afe14d709a2013c93e1114d1457b1f7b0cbd9,catálogo atual de um filme,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Em quais serviços de streaming no Brasil o filme Duna: Parte Dois está disponível hoje, distinguindo assinatura e aluguel? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I005,culinaria,xai.grok-4.20-non-reasoning,200,True,13.523,22738,1792,1136,0,3,0.0261825,0.0003584,0.00284,0.015,0.0443809,computed_from_measured_usage,6,35,06aa842a6049286e749af8a613db0a1375a436d377df134707447876e7e93816,7a44e46508aeb54bd6aa9bb8afeb58c8f9b55d38c430e954781c87de1bd27a12,feira gastronômica neste fim de semana,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Que feiras gastronômicas estão confirmadas na cidade de São Paulo para este fim de semana, com endereços e horários? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I005,culinaria,xai.grok-4.3,200,True,9.272,23768,2176,1468,844,3,0.02699,0.0004352,0.00367,0.015,0.0460952,computed_from_measured_usage,6,35,06aa842a6049286e749af8a613db0a1375a436d377df134707447876e7e93816,7a44e46508aeb54bd6aa9bb8afeb58c8f9b55d38c430e954781c87de1bd27a12,feira gastronômica neste fim de semana,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Que feiras gastronômicas estão confirmadas na cidade de São Paulo para este fim de semana, com endereços e horários? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I030,esportes,xai.grok-4.20-non-reasoning,200,True,13.151,47794,20736,911,0,6,0.0338225,0.0041472,0.0022775,0.03,0.0702472,computed_from_measured_usage,4,45,4a0af60c15843545ac9ce4eadf3891f71ea9eb9168d3771b914338704d8d4e4a,2ce3124226934d1957fc29fb0d64badaed1db3adfc67a31012676125e987ff0d,notícia recente de lesão no Flamengo,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é a atualização publicada nas últimas 48 horas sobre o departamento médico do Flamengo? Cite a data. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I030,esportes,xai.grok-4.3,200,True,9.616,13672,1152,1285,870,2,0.01565,0.0002304,0.0032125,0.01,0.0290929,computed_from_measured_usage,5,20,4a0af60c15843545ac9ce4eadf3891f71ea9eb9168d3771b914338704d8d4e4a,2ce3124226934d1957fc29fb0d64badaed1db3adfc67a31012676125e987ff0d,notícia recente de lesão no Flamengo,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é a atualização publicada nas últimas 48 horas sobre o departamento médico do Flamengo? Cite a data. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I055,clima,xai.grok-4.20-non-reasoning,200,True,13.31,51555,26752,905,0,6,0.03100375,0.0053504,0.0022625,0.03,0.06861665,computed_from_measured_usage,3,30,077d72f5378780c016306293d53b1a07f63d7941b11287c18a0b9d94452fd7ea,44bf85686c21c307c52da563727ecef06379a091616366ea9440b0018bf4d1bb,condição para praia no fim de semana,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Como está a previsão para Santos neste fim de semana, com chuva, temperatura e vento? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I055,clima,xai.grok-4.3,200,True,10.563,15050,2176,1244,836,3,0.0160925,0.0004352,0.00311,0.015,0.0346377,computed_from_measured_usage,4,18,077d72f5378780c016306293d53b1a07f63d7941b11287c18a0b9d94452fd7ea,44bf85686c21c307c52da563727ecef06379a091616366ea9440b0018bf4d1bb,condição para praia no fim de semana,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Como está a previsão para Santos neste fim de semana, com chuva, temperatura e vento? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I080,entretenimento,xai.grok-4.20-non-reasoning,200,True,12.576,45400,22912,925,0,6,0.02811,0.0045824,0.0023125,0.03,0.0650049,computed_from_measured_usage,3,35,5ee0935cabe24873cebeb0699fd6fca22b6b5bd6f8148534d5288bfeeeb50f8f,fde1c87d19014d97600f1ba8b76769dd84a362981a0d6a5ed472c2642fa5f8e0,ranking atual de streaming,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é o top 10 de filmes da Netflix Brasil mais recentemente publicado e a qual período se refere? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I080,entretenimento,xai.grok-4.3,200,True,7.804,13871,2176,1052,611,3,0.01461875,0.0004352,0.00263,0.015,0.03268395,computed_from_measured_usage,3,19,5ee0935cabe24873cebeb0699fd6fca22b6b5bd6f8148534d5288bfeeeb50f8f,fde1c87d19014d97600f1ba8b76769dd84a362981a0d6a5ed472c2642fa5f8e0,ranking atual de streaming,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é o top 10 de filmes da Netflix Brasil mais recentemente publicado e a qual período se refere? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I006,culinaria,xai.grok-4.20-non-reasoning,200,True,19.039,46836,24320,1505,0,7,0.028145,0.004864,0.0037625,0.035,0.0717715,computed_from_measured_usage,7,35,36d5d240061a327be7d16f82eb8c3405e02a255cd17ec92d91f8d62c5a2d1838,a01b683667a7a74ae1a4640b9a173a432fbf34247cdf4d1ad937e3d2cb532ef6,festival gastronômico em andamento,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais festivais gastronômicos estão acontecendo nesta semana em São Paulo, com datas e participantes? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I006,culinaria,xai.grok-4.3,200,True,14.27,23103,1152,1716,988,3,0.02743875,0.0002304,0.00429,0.015,0.04695915,computed_from_measured_usage,9,35,36d5d240061a327be7d16f82eb8c3405e02a255cd17ec92d91f8d62c5a2d1838,a01b683667a7a74ae1a4640b9a173a432fbf34247cdf4d1ad937e3d2cb532ef6,festival gastronômico em andamento,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais festivais gastronômicos estão acontecendo nesta semana em São Paulo, com datas e participantes? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I031,esportes,xai.grok-4.20-non-reasoning,200,True,16.608,51149,21888,686,0,6,0.03657625,0.0043776,0.001715,0.03,0.07266885,computed_from_measured_usage,4,50,9bf85366ad390da96fd07ad8592a5b476d2b97311a3fbe505821901d56f30fe5,84d0c06cf33e2e7a75316cf78b838528d29a0d43c8aad7679d45f1a1742ef710,suspensões para próxima rodada,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais jogadores do Corinthians estão confirmados como suspensos para o próximo jogo oficial? Use informações recentes. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I031,esportes,xai.grok-4.3,200,True,8.115,16593,1152,1189,726,3,0.01930125,0.0002304,0.0029725,0.015,0.03750415,computed_from_measured_usage,5,25,9bf85366ad390da96fd07ad8592a5b476d2b97311a3fbe505821901d56f30fe5,84d0c06cf33e2e7a75316cf78b838528d29a0d43c8aad7679d45f1a1742ef710,suspensões para próxima rodada,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais jogadores do Corinthians estão confirmados como suspensos para o próximo jogo oficial? Use informações recentes. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I056,clima,xai.grok-4.20-non-reasoning,200,True,12.765,45943,23936,837,0,6,0.02750875,0.0047872,0.0020925,0.03,0.06438845,computed_from_measured_usage,3,25,e4745eff05345e016e8e3a962ab2ac7df60a25bbd98356af67733cc06854e26f,61e787af198c22ac8612e1f1bcf0d9477ea740725c8ca3aa81bb300854e658a5,condição para trilha em data próxima,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é a previsão atual para trilha em Campos do Jordão no próximo sábado de manhã, com chuva e temperatura? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I056,clima,xai.grok-4.3,200,True,9.221,19940,2176,1225,797,3,0.022205,0.0004352,0.0030625,0.015,0.0407027,computed_from_measured_usage,6,20,e4745eff05345e016e8e3a962ab2ac7df60a25bbd98356af67733cc06854e26f,61e787af198c22ac8612e1f1bcf0d9477ea740725c8ca3aa81bb300854e658a5,condição para trilha em data próxima,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é a previsão atual para trilha em Campos do Jordão no próximo sábado de manhã, com chuva e temperatura? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I081,entretenimento,xai.grok-4.20-non-reasoning,200,True,11.74,45351,22400,936,0,7,0.02868875,0.00448,0.00234,0.035,0.07050875,computed_from_measured_usage,4,40,a9ec28d63f4035a0fd5dc24285e1d9794299dd5203664b2461c3541edbb28c3c,4d06d560db7c92c821873718390ee4ed17a9f87d8f26d7387de0d3aa80ee9f5e,novo episódio de série,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual foi o episódio mais recentemente lançado de Os Anéis de Poder no Brasil e existe data confirmada para o próximo? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I081,entretenimento,xai.grok-4.3,200,True,9.542,16652,2176,1032,653,3,0.018095,0.0004352,0.00258,0.015,0.0361102,computed_from_measured_usage,7,25,a9ec28d63f4035a0fd5dc24285e1d9794299dd5203664b2461c3541edbb28c3c,4d06d560db7c92c821873718390ee4ed17a9f87d8f26d7387de0d3aa80ee9f5e,novo episódio de série,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual foi o episódio mais recentemente lançado de Os Anéis de Poder no Brasil e existe data confirmada para o próximo? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I007,culinaria,xai.grok-4.20-non-reasoning,200,True,17.363,41817,19712,1139,0,7,0.02763125,0.0039424,0.0028475,0.035,0.06942115,computed_from_measured_usage,4,40,a0b6dbb5e582d2ad5b53b984304b7cd0f47bdb7d490fc066a013f9b54483f6f5,f54631ab6cfd88d0e1a4784ed1ed2ab5137fa902b8eb738a342840254f66bd53,restaurantes recém-abertos,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais restaurantes abriram nos últimos 30 dias em São Paulo e que tipo de comida oferecem? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I007,culinaria,xai.grok-4.3,200,True,14.773,20529,1152,1945,904,3,0.02422125,0.0002304,0.0048625,0.015,0.04431415,computed_from_measured_usage,9,35,a0b6dbb5e582d2ad5b53b984304b7cd0f47bdb7d490fc066a013f9b54483f6f5,f54631ab6cfd88d0e1a4784ed1ed2ab5137fa902b8eb738a342840254f66bd53,restaurantes recém-abertos,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais restaurantes abriram nos últimos 30 dias em São Paulo e que tipo de comida oferecem? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I032,esportes,xai.grok-4.20-non-reasoning,200,True,9.555,66187,28928,667,0,7,0.04657375,0.0057856,0.0016675,0.035,0.08902685,computed_from_measured_usage,4,65,f90bd335c0672905029db52fbc7c077b934d7a7f119df9d6a0fcafbd8451e8d3,56abee3666d90869df23d87f3a209f0a0d5584c74f0329d425a4a1d2a26de48a,troca de técnico recente,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais clubes da Série A anunciaram mudança de treinador nos últimos sete dias? Se nenhum, declare isso. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I032,esportes,xai.grok-4.3,200,True,19.031,55746,22400,2017,1597,5,0.0416825,0.00448,0.0050425,0.025,0.0762050,computed_from_measured_usage,3,55,f90bd335c0672905029db52fbc7c077b934d7a7f119df9d6a0fcafbd8451e8d3,56abee3666d90869df23d87f3a209f0a0d5584c74f0329d425a4a1d2a26de48a,troca de técnico recente,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais clubes da Série A anunciaram mudança de treinador nos últimos sete dias? Se nenhum, declare isso. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I057,clima,xai.grok-4.20-non-reasoning,200,True,11.5,61988,32000,861,0,7,0.037485,0.0064,0.0021525,0.035,0.0810375,computed_from_measured_usage,3,35,f0f28b0342e2ed4e04b2f53dfb13f970351dd8969e123b39f163aac110bb46cc,0e746b0d1c79e19b698f781fd6fb9283b4eee2153a3dbbb4d6631b6f0bd0469d,tempo para evento ao ar livre,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. A previsão atual indica chuva em Curitiba no próximo domingo entre 14h e 18h? Informe as incertezas disponíveis. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I057,clima,xai.grok-4.3,200,True,9.519,19227,2176,1109,745,3,0.02131375,0.0004352,0.0027725,0.015,0.03952145,computed_from_measured_usage,4,20,f0f28b0342e2ed4e04b2f53dfb13f970351dd8969e123b39f163aac110bb46cc,0e746b0d1c79e19b698f781fd6fb9283b4eee2153a3dbbb4d6631b6f0bd0469d,tempo para evento ao ar livre,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. A previsão atual indica chuva em Curitiba no próximo domingo entre 14h e 18h? Informe as incertezas disponíveis. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I082,entretenimento,xai.grok-4.20-non-reasoning,200,True,13.947,62871,31104,1099,0,8,0.03970875,0.0062208,0.0027475,0.04,0.08867705,computed_from_measured_usage,11,50,1a8a6ba2ea6d1bfefb9db43425227a373fd0516385c4acae5e41da3727f00c4b,1eef0ca1f267fe0a39d319a3b300b6acc1ab3ef77997eef606f20e193e04ac7f,agenda de shows do fim de semana,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais shows de rock estão confirmados na cidade de São Paulo neste fim de semana, com locais e horários? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I082,entretenimento,xai.grok-4.3,200,True,10.673,25516,2176,1191,741,3,0.029175,0.0004352,0.0029775,0.015,0.0475877,computed_from_measured_usage,8,35,1a8a6ba2ea6d1bfefb9db43425227a373fd0516385c4acae5e41da3727f00c4b,1eef0ca1f267fe0a39d319a3b300b6acc1ab3ef77997eef606f20e193e04ac7f,agenda de shows do fim de semana,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais shows de rock estão confirmados na cidade de São Paulo neste fim de semana, com locais e horários? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I008,culinaria,xai.grok-4.20-non-reasoning,200,True,12.865,42158,22016,968,0,6,0.0251775,0.0044032,0.00242,0.03,0.0620007,computed_from_measured_usage,6,35,df6d7d203948cc57aaf82b08428ebd1eeb4b4de270a2246232a45fa1d9f2aa75,88c071a1ac6acf835638414e23c5e8d7cfc7b78154a5008509fd26226be4bfad,estrelas Michelin vigentes,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais restaurantes de São Paulo têm estrelas na edição mais recente do Guia Michelin? Informe a edição consultada. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I008,culinaria,xai.grok-4.3,200,True,6.637,14366,2176,753,404,2,0.0152375,0.0004352,0.0018825,0.01,0.0275552,computed_from_measured_usage,8,20,df6d7d203948cc57aaf82b08428ebd1eeb4b4de270a2246232a45fa1d9f2aa75,88c071a1ac6acf835638414e23c5e8d7cfc7b78154a5008509fd26226be4bfad,estrelas Michelin vigentes,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais restaurantes de São Paulo têm estrelas na edição mais recente do Guia Michelin? Informe a edição consultada. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I033,esportes,xai.grok-4.20-non-reasoning,200,True,10.716,44703,23296,902,0,6,0.02675875,0.0046592,0.002255,0.03,0.06367295,computed_from_measured_usage,5,35,bd55b71f1bbac235af7290dc2418cc0d246c28e5981b3a22cf91715697e5e3c8,50e5f542442183eef61cfa5b7e3f6343f84e897f41b8f0ae73f1d724827a7c2e,ingressos para próximo jogo,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. A venda de ingressos para o próximo jogo do São Paulo como mandante está aberta? Informe preços oficiais e canal de venda. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I033,esportes,xai.grok-4.3,200,True,10.759,22878,1152,1151,665,3,0.0271575,0.0002304,0.0028775,0.015,0.0452654,computed_from_measured_usage,5,35,bd55b71f1bbac235af7290dc2418cc0d246c28e5981b3a22cf91715697e5e3c8,50e5f542442183eef61cfa5b7e3f6343f84e897f41b8f0ae73f1d724827a7c2e,ingressos para próximo jogo,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. A venda de ingressos para o próximo jogo do São Paulo como mandante está aberta? Informe preços oficiais e canal de venda. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I058,clima,xai.grok-4.20-non-reasoning,200,True,13.426,29426,15488,914,0,6,0.0174225,0.0030976,0.002285,0.03,0.0528051,computed_from_measured_usage,3,20,53d6273049ab05900f2d8ffcc395dee6dfe21584b29328f4ef01f41c76b67151,4cdc0a407012d318049001b20498f6322f20ff66e6cfbb15fef86195690ff2e1,qualidade do ar atual,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é a classificação mais recente da qualidade do ar em São Paulo segundo a CETESB, com horário e estação? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I058,clima,xai.grok-4.3,200,True,12.149,26322,13184,1313,814,4,0.0164225,0.0026368,0.0032825,0.02,0.0423418,computed_from_measured_usage,3,15,53d6273049ab05900f2d8ffcc395dee6dfe21584b29328f4ef01f41c76b67151,4cdc0a407012d318049001b20498f6322f20ff66e6cfbb15fef86195690ff2e1,qualidade do ar atual,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é a classificação mais recente da qualidade do ar em São Paulo segundo a CETESB, com horário e estação? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I083,entretenimento,xai.grok-4.20-non-reasoning,200,True,13.168,55054,25600,1050,0,7,0.0368175,0.00512,0.002625,0.035,0.0795625,computed_from_measured_usage,4,45,9c71b9ba79710a0e9586eeeb91e9c45947c27c7277e52a3b1f38c9bd7526c000,54cfde8d982986b850798d17696a432c1582b44ecdaacbfddebe356be6f9665e,ingressos para show anunciado,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais shows internacionais no Allianz Parque têm venda oficial de ingressos aberta agora, com datas e preços anunciados? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I083,entretenimento,xai.grok-4.3,200,True,10.171,26056,2176,1356,879,3,0.02985,0.0004352,0.00339,0.015,0.0486752,computed_from_measured_usage,8,35,9c71b9ba79710a0e9586eeeb91e9c45947c27c7277e52a3b1f38c9bd7526c000,54cfde8d982986b850798d17696a432c1582b44ecdaacbfddebe356be6f9665e,ingressos para show anunciado,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais shows internacionais no Allianz Parque têm venda oficial de ingressos aberta agora, com datas e preços anunciados? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I009,culinaria,xai.grok-4.20-non-reasoning,200,True,16.546,36054,18944,1120,0,6,0.0213875,0.0037888,0.0028,0.03,0.0579763,computed_from_measured_usage,9,29,e03a36969449bf23e22becf14a0a199e72a64839fcf30d3b6211503d9a453627,a50261a6eaed3a73e4464b79b752879c007aa722125267c4623b77cf382015f8,lista Bib Gourmand atual,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais restaurantes do Rio de Janeiro aparecem no Bib Gourmand mais recente, com especialidades e bairros? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I009,culinaria,xai.grok-4.3,200,True,9.355,22993,1280,1215,675,3,0.02714125,0.000256,0.0030375,0.015,0.04543475,computed_from_measured_usage,10,35,e03a36969449bf23e22becf14a0a199e72a64839fcf30d3b6211503d9a453627,a50261a6eaed3a73e4464b79b752879c007aa722125267c4623b77cf382015f8,lista Bib Gourmand atual,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais restaurantes do Rio de Janeiro aparecem no Bib Gourmand mais recente, com especialidades e bairros? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I034,esportes,xai.grok-4.20-non-reasoning,200,True,6.22,22641,1792,357,0,3,0.02606125,0.0003584,0.0008925,0.015,0.04231215,computed_from_measured_usage,2,35,5384a493d02b7fda2ed2a6a2c5afba7180e95d56e8d4e39358a3c295e556f030,a0cef7ad3fb3fdbef6a7fb31bfbc39c7509d73de5418de49d0ecf02932f206cb,final de campeonato com agenda vigente,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é a agenda atualmente confirmada da final da Copa do Brasil desta temporada, com datas e locais definidos? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I034,esportes,xai.grok-4.3,200,True,7.454,14279,256,813,477,3,0.01752875,0.0000512,0.0020325,0.015,0.03461245,computed_from_measured_usage,6,20,5384a493d02b7fda2ed2a6a2c5afba7180e95d56e8d4e39358a3c295e556f030,a0cef7ad3fb3fdbef6a7fb31bfbc39c7509d73de5418de49d0ecf02932f206cb,final de campeonato com agenda vigente,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é a agenda atualmente confirmada da final da Copa do Brasil desta temporada, com datas e locais definidos? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I059,clima,xai.grok-4.20-non-reasoning,200,True,21.439,66056,31872,823,0,7,0.04273,0.0063744,0.0020575,0.035,0.0861619,computed_from_measured_usage,4,50,3ecb2911fecf288ff99255840f9c453d481eddc29f44790eef3a58d172013a2c,e5fa5d5b8c33b30d4755f3d571619fa737933bd7cfd669386217f14c7d82bcd8,umidade relativa prevista,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é a menor umidade relativa prevista para Brasília amanhã e há alerta meteorológico vigente? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I059,clima,xai.grok-4.3,200,True,7.867,18481,2176,946,563,3,0.02038125,0.0004352,0.002365,0.015,0.03818145,computed_from_measured_usage,5,20,3ecb2911fecf288ff99255840f9c453d481eddc29f44790eef3a58d172013a2c,e5fa5d5b8c33b30d4755f3d571619fa737933bd7cfd669386217f14c7d82bcd8,umidade relativa prevista,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é a menor umidade relativa prevista para Brasília amanhã e há alerta meteorológico vigente? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I084,entretenimento,xai.grok-4.20-non-reasoning,200,True,12.102,46131,24192,1014,0,5,0.02742375,0.0048384,0.002535,0.025,0.05979715,computed_from_measured_usage,5,35,4709878dc131421deb52cecbd405ef709de0d3232f1d3b9114e52cbdf66c95f3,fd54db3207433c0c9e2a17e6771f7b6e28c81e8e184366af5707c8cb67e581e2,line-up atualizado de festival,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é o line-up oficialmente confirmado da próxima edição do Lollapalooza Brasil e quais são suas datas? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I084,entretenimento,xai.grok-4.3,200,True,8.855,17075,2176,947,576,3,0.01862375,0.0004352,0.0023675,0.015,0.03642645,computed_from_measured_usage,6,24,4709878dc131421deb52cecbd405ef709de0d3232f1d3b9114e52cbdf66c95f3,fd54db3207433c0c9e2a17e6771f7b6e28c81e8e184366af5707c8cb67e581e2,line-up atualizado de festival,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é o line-up oficialmente confirmado da próxima edição do Lollapalooza Brasil e quais são suas datas? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I010,culinaria,xai.grok-4.20-non-reasoning,200,True,13.58,47433,23296,946,0,6,0.03017125,0.0046592,0.002365,0.03,0.06719545,computed_from_measured_usage,3,40,fe8fad1b0a37807ccd57a459a6cdca670eadd132d42e234f7efc6b35d562e6f8,902c1db2cab004162c8f6f14d9fea2bfeb77216cef75fe30d22a35250dde111b,restaurante com opção vegana atual,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais opções veganas aparecem no cardápio atual do restaurante Mocotó em São Paulo e quais são os preços publicados? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I010,culinaria,xai.grok-4.3,200,True,10.744,37392,15104,996,535,5,0.02786,0.0030208,0.00249,0.025,0.0583708,computed_from_measured_usage,5,30,fe8fad1b0a37807ccd57a459a6cdca670eadd132d42e234f7efc6b35d562e6f8,902c1db2cab004162c8f6f14d9fea2bfeb77216cef75fe30d22a35250dde111b,restaurante com opção vegana atual,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais opções veganas aparecem no cardápio atual do restaurante Mocotó em São Paulo e quais são os preços publicados? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I035,esportes,xai.grok-4.20-non-reasoning,200,True,12.433,42988,22528,929,0,6,0.025575,0.0045056,0.0023225,0.03,0.0624031,computed_from_measured_usage,5,30,e0f41783e6cd148d8510f3df110d8ba637eb1b092f3f3a87946a8ac38d90096d,fab46854fde50fbd815ca15dec2cd2363d96c49954c0dfd80189ff6f1c49e80d,próxima rodada de futebol europeu,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais partidas estão programadas para a próxima rodada da Premier League, com horários convertidos para Brasília? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I035,esportes,xai.grok-4.3,200,True,8.88,18997,2176,1147,644,3,0.02102625,0.0004352,0.0028675,0.015,0.03932895,computed_from_measured_usage,5,25,e0f41783e6cd148d8510f3df110d8ba637eb1b092f3f3a87946a8ac38d90096d,fab46854fde50fbd815ca15dec2cd2363d96c49954c0dfd80189ff6f1c49e80d,próxima rodada de futebol europeu,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais partidas estão programadas para a próxima rodada da Premier League, com horários convertidos para Brasília? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I060,clima,xai.grok-4.20-non-reasoning,200,True,12.874,49446,23680,786,0,7,0.0322075,0.004736,0.001965,0.035,0.0739085,computed_from_measured_usage,4,30,dd71adca324631956b2a7b0287ae9affd0358258fc146e14ef0fd33a34b99d77,64abf1c2e1087094bdb919fc26e0edee6abd0117d9be85093b7854ac9709472f,índice UV de amanhã,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é a previsão de índice ultravioleta para o Rio de Janeiro amanhã, com horário de pico se disponível? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I060,clima,xai.grok-4.3,200,True,10.649,24575,2176,1131,753,3,0.02799875,0.0004352,0.0028275,0.015,0.04626145,computed_from_measured_usage,5,25,dd71adca324631956b2a7b0287ae9affd0358258fc146e14ef0fd33a34b99d77,64abf1c2e1087094bdb919fc26e0edee6abd0117d9be85093b7854ac9709472f,índice UV de amanhã,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é a previsão de índice ultravioleta para o Rio de Janeiro amanhã, com horário de pico se disponível? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I085,entretenimento,xai.grok-4.20-non-reasoning,200,True,17.536,49524,23168,1291,0,8,0.032945,0.0046336,0.0032275,0.04,0.0808061,computed_from_measured_usage,3,50,1823f16df0ec4de7bc31ab7011fab70a26309d953db5173fa84e4fa263bf3a8a,0a0d8ca19b15d06bdb22fea023219e353b9be1fdcedcbeff5f84aa723eb3f7a7,mudança recente em apresentação,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais shows no Brasil tiveram cancelamento ou alteração de data anunciados nos últimos sete dias? Use comunicados oficiais. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I085,entretenimento,xai.grok-4.3,200,True,9.265,19336,2176,1164,632,3,0.02145,0.0004352,0.00291,0.015,0.0397952,computed_from_measured_usage,5,30,1823f16df0ec4de7bc31ab7011fab70a26309d953db5173fa84e4fa263bf3a8a,0a0d8ca19b15d06bdb22fea023219e353b9be1fdcedcbeff5f84aa723eb3f7a7,mudança recente em apresentação,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais shows no Brasil tiveram cancelamento ou alteração de data anunciados nos últimos sete dias? Use comunicados oficiais. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I011,culinaria,xai.grok-4.20-non-reasoning,200,True,20.108,47410,20480,1453,0,9,0.0336625,0.004096,0.0036325,0.045,0.0863910,computed_from_measured_usage,9,46,d9771cd69c8a3343a6809da3214ba07df2b326a17687346dcef71211cf2430ab,6b9daa86dd608fa3d7990609dc8b350afaa15d3e644dc67cc6213cb301d7e400,restaurante sem glúten com funcionamento confirmado,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais restaurantes dedicados à alimentação sem glúten em Curitiba estão com funcionamento confirmado nesta semana? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I011,culinaria,xai.grok-4.3,200,True,8.453,11388,1280,851,546,3,0.012635,0.000256,0.0021275,0.015,0.0300185,computed_from_measured_usage,3,16,d9771cd69c8a3343a6809da3214ba07df2b326a17687346dcef71211cf2430ab,6b9daa86dd608fa3d7990609dc8b350afaa15d3e644dc67cc6213cb301d7e400,restaurante sem glúten com funcionamento confirmado,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais restaurantes dedicados à alimentação sem glúten em Curitiba estão com funcionamento confirmado nesta semana? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I036,esportes,xai.grok-4.20-non-reasoning,200,True,12.815,53434,24832,903,0,6,0.0357525,0.0049664,0.0022575,0.03,0.0729764,computed_from_measured_usage,5,45,8a4152e64fdbdce47d0601fc2c2e1da0085b1f7844963d08a3c78968670d0c71,c4b3ddf025cd1b0b5619724e016392745744b753da02319019d28be32bc8bf9f,rodada da Champions,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais são os próximos jogos confirmados da UEFA Champions League e onde serão transmitidos no Brasil? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I036,esportes,xai.grok-4.3,200,True,9.964,19257,1152,1137,721,3,0.02263125,0.0002304,0.0028425,0.015,0.04070415,computed_from_measured_usage,5,25,8a4152e64fdbdce47d0601fc2c2e1da0085b1f7844963d08a3c78968670d0c71,c4b3ddf025cd1b0b5619724e016392745744b753da02319019d28be32bc8bf9f,rodada da Champions,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais são os próximos jogos confirmados da UEFA Champions League e onde serão transmitidos no Brasil? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I061,clima,xai.grok-4.20-non-reasoning,200,True,12.307,57610,24704,774,0,7,0.0411325,0.0049408,0.001935,0.035,0.0830083,computed_from_measured_usage,4,59,b0e7eddb6280bfcdc0ce87ff6069583c40b176d01de9c59721c16e4a25ddaa12,8c75334566a6354de8c55ac1645d03838267b467477f42d0ca4a781c512ec191,onda de calor vigente,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais estados brasileiros têm alertas oficiais vigentes de onda de calor e até quando? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I061,clima,xai.grok-4.3,200,True,9.035,16205,1152,821,510,3,0.01881625,0.0002304,0.0020525,0.015,0.03609915,computed_from_measured_usage,6,25,b0e7eddb6280bfcdc0ce87ff6069583c40b176d01de9c59721c16e4a25ddaa12,8c75334566a6354de8c55ac1645d03838267b467477f42d0ca4a781c512ec191,onda de calor vigente,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais estados brasileiros têm alertas oficiais vigentes de onda de calor e até quando? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I086,entretenimento,xai.grok-4.20-non-reasoning,200,True,12.824,23979,2688,941,0,6,0.02661375,0.0005376,0.0023525,0.03,0.05950385,computed_from_measured_usage,7,20,a910418c2894e4ef45649f779010cbf9357c2dbfdb3f3f51bc61f59faaad0fa4,1c99731b1a3ab56e1730c4f1893854a6f01309b546063d3efe7b6505433697d2,peça em cartaz nesta semana,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais peças estão em cartaz nesta semana no Teatro Sérgio Cardoso, com horários e preços? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I086,entretenimento,xai.grok-4.3,200,True,10.754,11719,256,1144,692,3,0.01432875,0.0000512,0.00286,0.015,0.03223995,computed_from_measured_usage,6,15,a910418c2894e4ef45649f779010cbf9357c2dbfdb3f3f51bc61f59faaad0fa4,1c99731b1a3ab56e1730c4f1893854a6f01309b546063d3efe7b6505433697d2,peça em cartaz nesta semana,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais peças estão em cartaz nesta semana no Teatro Sérgio Cardoso, com horários e preços? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I012,culinaria,xai.grok-4.20-non-reasoning,200,True,10.885,41208,16896,667,0,5,0.03039,0.0033792,0.0016675,0.025,0.0604367,computed_from_measured_usage,5,41,bff3857e0b99118a7e0824ea03ca7ebe0cc3c463905cf3148b62e8df3f180246,343173c56ee886d0fa219d17e9f422fef9b2cf18e6ca3b669960338549ac9d6a,serviço gastronômico para feriado,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais restaurantes de Belo Horizonte já anunciaram menus e reservas para o próximo feriado nacional? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I012,culinaria,xai.grok-4.3,200,True,11.07,18086,1152,959,628,3,0.0211675,0.0002304,0.0023975,0.015,0.0387954,computed_from_measured_usage,3,25,bff3857e0b99118a7e0824ea03ca7ebe0cc3c463905cf3148b62e8df3f180246,343173c56ee886d0fa219d17e9f422fef9b2cf18e6ca3b669960338549ac9d6a,serviço gastronômico para feriado,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais restaurantes de Belo Horizonte já anunciaram menus e reservas para o próximo feriado nacional? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I037,esportes,xai.grok-4.20-non-reasoning,200,True,13.175,75527,37248,959,0,8,0.04784875,0.0074496,0.0023975,0.04,0.09769585,computed_from_measured_usage,6,50,b32f8ac3810f4f4d900fe4122de9a4da84cdce9d5d759a4b7271ca0088298c2e,65d948bcd05b390e9ffb05d08daa7dbc34ca59ce261e84d9a111bb8f1311f413,calendário próximo da NBA,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais partidas da NBA estão programadas para amanhã e quais têm transmissão anunciada para o Brasil? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I037,esportes,xai.grok-4.3,200,True,12.245,21091,2176,1183,632,3,0.02364375,0.0004352,0.0029575,0.015,0.04203645,computed_from_measured_usage,6,25,b32f8ac3810f4f4d900fe4122de9a4da84cdce9d5d759a4b7271ca0088298c2e,65d948bcd05b390e9ffb05d08daa7dbc34ca59ce261e84d9a111bb8f1311f413,calendário próximo da NBA,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais partidas da NBA estão programadas para amanhã e quais têm transmissão anunciada para o Brasil? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I062,clima,xai.grok-4.20-non-reasoning,200,True,12.14,57568,28416,988,0,8,0.03644,0.0056832,0.00247,0.04,0.0845932,computed_from_measured_usage,3,50,456ea61cd91e7d9bc887398bede433672aff22e0c36b46a58cc6b2509ed5f24e,949e6ed48ee6a2a1a37e7e34d9e43798c65e2f0f5e25bf50dd91dec95107ae20,risco de geada próximo,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Há previsão de geada na Serra Catarinense para as próximas 72 horas? Cite boletim e validade. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I062,clima,xai.grok-4.3,200,True,10.119,13155,2048,1056,648,3,0.01388375,0.0004096,0.00264,0.015,0.03193335,computed_from_measured_usage,4,20,456ea61cd91e7d9bc887398bede433672aff22e0c36b46a58cc6b2509ed5f24e,949e6ed48ee6a2a1a37e7e34d9e43798c65e2f0f5e25bf50dd91dec95107ae20,risco de geada próximo,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Há previsão de geada na Serra Catarinense para as próximas 72 horas? Cite boletim e validade. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I087,entretenimento,xai.grok-4.20-non-reasoning,200,True,14.867,33691,1920,1203,0,6,0.03971375,0.000384,0.0030075,0.03,0.07310525,computed_from_measured_usage,7,26,34b9a4331c5427a1577341d4243ea868606583391d956edb89573d3a67350b73,4ada13eb425194c153e2e9eb198927597065e09223dec90852c52cffa0027ea6,musical com temporada atual,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais musicais estão em temporada na cidade de São Paulo neste mês, com teatros e períodos confirmados? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I087,entretenimento,xai.grok-4.3,200,True,11.294,17751,2176,1375,805,3,0.01946875,0.0004352,0.0034375,0.015,0.03834145,computed_from_measured_usage,8,26,34b9a4331c5427a1577341d4243ea868606583391d956edb89573d3a67350b73,4ada13eb425194c153e2e9eb198927597065e09223dec90852c52cffa0027ea6,musical com temporada atual,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais musicais estão em temporada na cidade de São Paulo neste mês, com teatros e períodos confirmados? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I013,culinaria,xai.grok-4.20-non-reasoning,200,True,19.044,43216,19840,1431,0,8,0.02922,0.003968,0.0035775,0.04,0.0767655,computed_from_measured_usage,6,41,f4fe9f9b1de3a92677fb4346c85efc804ba74a04866d77bc67a7fcf754dd9097,0d8fbab04935f3081f5c91cb66440d739f8f444388b07ef15e6a1b015cbc1657,aula de culinária com inscrição aberta,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais aulas presenciais de culinária em São Paulo estão com inscrições abertas para os próximos 30 dias, com preços? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I013,culinaria,xai.grok-4.3,200,True,15.77,22771,2176,1642,984,3,0.02574375,0.0004352,0.004105,0.015,0.04528395,computed_from_measured_usage,7,35,f4fe9f9b1de3a92677fb4346c85efc804ba74a04866d77bc67a7fcf754dd9097,0d8fbab04935f3081f5c91cb66440d739f8f444388b07ef15e6a1b015cbc1657,aula de culinária com inscrição aberta,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais aulas presenciais de culinária em São Paulo estão com inscrições abertas para os próximos 30 dias, com preços? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I038,esportes,xai.grok-4.20-non-reasoning,200,True,9.992,47843,24960,667,0,6,0.02860375,0.004992,0.0016675,0.03,0.06526325,computed_from_measured_usage,2,25,a230e114ae8e7e2af83731e9bd75b05dab25c2bee27d3d3ebf3d308cbe1c083a,7b1e846c9ca76e9444bd99650e04d0ab1f34db9484473e58051797bfe672a61e,último resultado da WNBA,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual foi o resultado da partida mais recente da WNBA e qual é a situação atual da competição? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I038,esportes,xai.grok-4.3,200,True,11.569,20140,2176,1069,628,3,0.022455,0.0004352,0.0026725,0.015,0.0405627,computed_from_measured_usage,7,20,a230e114ae8e7e2af83731e9bd75b05dab25c2bee27d3d3ebf3d308cbe1c083a,7b1e846c9ca76e9444bd99650e04d0ab1f34db9484473e58051797bfe672a61e,último resultado da WNBA,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual foi o resultado da partida mais recente da WNBA e qual é a situação atual da competição? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I063,clima,xai.grok-4.20-non-reasoning,200,True,14.621,35464,17280,1106,0,7,0.02273,0.003456,0.002765,0.035,0.063951,computed_from_measured_usage,5,30,4c344593b0fd7393b33f63ba887eefcc91820c266c7f4ebfe8b33ff12686105a,d0b7a90ff237a9e261c4f7cd7f20a945f7849a12b0c0aa7240901f96233249c4,risco de temporais próximo,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais regiões do Rio Grande do Sul têm previsão oficial de temporais nas próximas 48 horas? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I063,clima,xai.grok-4.3,200,True,11.132,17401,2176,1148,743,3,0.01903125,0.0004352,0.00287,0.015,0.03733645,computed_from_measured_usage,6,25,4c344593b0fd7393b33f63ba887eefcc91820c266c7f4ebfe8b33ff12686105a,d0b7a90ff237a9e261c4f7cd7f20a945f7849a12b0c0aa7240901f96233249c4,risco de temporais próximo,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais regiões do Rio Grande do Sul têm previsão oficial de temporais nas próximas 48 horas? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I088,entretenimento,xai.grok-4.20-non-reasoning,200,True,14.406,36980,19584,1049,0,6,0.021745,0.0039168,0.0026225,0.03,0.0582843,computed_from_measured_usage,5,30,fd4b5a144e67ecc2017ab923c3189260d0df98d4a2b113355c4d55447571aaff,89914a4af8b48c9d74332d4dde63533b3b9a52b1dccd35e78161966f4c0752dc,exposição atual em museu,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais exposições estão abertas hoje no MASP e quais são os horários e preços de visita? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I088,entretenimento,xai.grok-4.3,200,True,10.857,30805,14976,1162,686,5,0.01978625,0.0029952,0.002905,0.025,0.05068645,computed_from_measured_usage,5,20,fd4b5a144e67ecc2017ab923c3189260d0df98d4a2b113355c4d55447571aaff,89914a4af8b48c9d74332d4dde63533b3b9a52b1dccd35e78161966f4c0752dc,exposição atual em museu,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais exposições estão abertas hoje no MASP e quais são os horários e preços de visita? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I014,culinaria,xai.grok-4.20-non-reasoning,200,True,15.111,48992,22400,860,0,6,0.03324,0.00448,0.00215,0.03,0.06987,computed_from_measured_usage,3,45,557b1433eb45d29a0b683a480efd1758f218045f2429651078f3f6891ffcde9b,f8b6dfbf45b92b586d883d6a35873d0367a652ac984f2809f991b7c1770ec49f,curso de panificação próximo,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é a próxima turma presencial de panificação do Senac em São Paulo com inscrição aberta e qual é o valor anunciado? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I014,culinaria,xai.grok-4.3,200,True,13.159,51121,23040,1154,676,5,0.03510125,0.004608,0.002885,0.025,0.06759425,computed_from_measured_usage,6,45,557b1433eb45d29a0b683a480efd1758f218045f2429651078f3f6891ffcde9b,f8b6dfbf45b92b586d883d6a35873d0367a652ac984f2809f991b7c1770ec49f,curso de panificação próximo,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é a próxima turma presencial de panificação do Senac em São Paulo com inscrição aberta e qual é o valor anunciado? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I039,esportes,xai.grok-4.20-non-reasoning,200,True,14.393,43682,20352,871,0,6,0.0291625,0.0040704,0.0021775,0.03,0.0654104,computed_from_measured_usage,5,30,dfae3c7a38e6bc2cb0be6fb392d474296acba3fb7aacf1b906d3643687ada978,dd25b050063dedccea0f1907a298be363b89877528cc7e9660a4304f0c987ab8,próxima etapa da Fórmula 1,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é o próximo Grande Prêmio de Fórmula 1 e quais são os horários oficiais de treinos, classificação e corrida em Brasília? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I039,esportes,xai.grok-4.3,200,True,7.945,14393,2176,807,461,2,0.01527125,0.0004352,0.0020175,0.01,0.02772395,computed_from_measured_usage,8,15,dfae3c7a38e6bc2cb0be6fb392d474296acba3fb7aacf1b906d3643687ada978,dd25b050063dedccea0f1907a298be363b89877528cc7e9660a4304f0c987ab8,próxima etapa da Fórmula 1,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é o próximo Grande Prêmio de Fórmula 1 e quais são os horários oficiais de treinos, classificação e corrida em Brasília? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I064,clima,xai.grok-4.20-non-reasoning,200,True,24.381,88306,49664,980,0,10,0.0483025,0.0099328,0.00245,0.05,0.1106853,computed_from_measured_usage,3,56,4960499ce27470bf47dc77543ab96216f0581b120056bdbe4d1cfad8e8214e77,7da71244dcbd1a5ca51ec7cbebbed2372841a2d2d4e164aa16e630dd837a0460,acumulado de chuva recente,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual foi o acumulado de chuva das últimas 24 horas em Recife segundo a fonte oficial mais recente? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I064,clima,xai.grok-4.3,200,True,10.574,19981,2176,933,554,3,0.02225625,0.0004352,0.0023325,0.015,0.04002395,computed_from_measured_usage,4,25,4960499ce27470bf47dc77543ab96216f0581b120056bdbe4d1cfad8e8214e77,7da71244dcbd1a5ca51ec7cbebbed2372841a2d2d4e164aa16e630dd837a0460,acumulado de chuva recente,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual foi o acumulado de chuva das últimas 24 horas em Recife segundo a fonte oficial mais recente? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I089,entretenimento,xai.grok-4.20-non-reasoning,200,True,13.592,47267,21376,992,0,7,0.03236375,0.0042752,0.00248,0.035,0.07411895,computed_from_measured_usage,5,40,b38f465eece61233a4109a70a60ca48e64ea7a52f159e651ac33d817fc7f4223,b93b37839106e66be246c3e1a9d9abaa43ad902e56eb4f274a64c7b83e58c2af,programação atual de centro cultural,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais atividades gratuitas estão anunciadas pelo Centro Cultural São Paulo para o próximo fim de semana? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I089,entretenimento,xai.grok-4.3,200,True,15.916,31678,13056,1501,933,5,0.0232775,0.0026112,0.0037525,0.025,0.0546412,computed_from_measured_usage,6,25,b38f465eece61233a4109a70a60ca48e64ea7a52f159e651ac33d817fc7f4223,b93b37839106e66be246c3e1a9d9abaa43ad902e56eb4f274a64c7b83e58c2af,programação atual de centro cultural,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais atividades gratuitas estão anunciadas pelo Centro Cultural São Paulo para o próximo fim de semana? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I015,culinaria,xai.grok-4.20-non-reasoning,200,True,14.484,46045,22528,1020,0,6,0.02939625,0.0045056,0.00255,0.03,0.06645185,computed_from_measured_usage,3,40,825f95e78cb8199b330e932c11cfe41c353ba678496465ea24a042a47cc16a5c,bba7d279050bdd5b9d8a855a10ef3e4762ef25cd2fe8dc7d9926ee5f2d3cfee4,aula infantil em data próxima,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Há oficinas de culinária para crianças no próximo fim de semana em São Paulo? Informe idade, preço e inscrição. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I015,culinaria,xai.grok-4.3,200,True,13.409,19492,1152,1142,699,3,0.022925,0.0002304,0.002855,0.015,0.0410104,computed_from_measured_usage,3,30,825f95e78cb8199b330e932c11cfe41c353ba678496465ea24a042a47cc16a5c,bba7d279050bdd5b9d8a855a10ef3e4762ef25cd2fe8dc7d9926ee5f2d3cfee4,aula infantil em data próxima,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Há oficinas de culinária para crianças no próximo fim de semana em São Paulo? Informe idade, preço e inscrição. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I040,esportes,xai.grok-4.20-non-reasoning,200,True,14.29,70312,35840,697,0,6,0.04309,0.007168,0.0017425,0.03,0.0820005,computed_from_measured_usage,2,35,73ba09b8c0f24ca2cc9cb5aca8c22d59326e67af7716d7c7cdee5304888a7bd2,9bf53efc9aa6c4bfc17e589d04e987e5cc49cad57f63d923a153e648febec7e1,classificação vigente da Fórmula 1,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Como estão as classificações de pilotos e construtores da Fórmula 1 após a etapa mais recente? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I040,esportes,xai.grok-4.3,200,True,10.616,18830,2176,1198,562,3,0.0208175,0.0004352,0.002995,0.015,0.0392477,computed_from_measured_usage,6,20,73ba09b8c0f24ca2cc9cb5aca8c22d59326e67af7716d7c7cdee5304888a7bd2,9bf53efc9aa6c4bfc17e589d04e987e5cc49cad57f63d923a153e648febec7e1,classificação vigente da Fórmula 1,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Como estão as classificações de pilotos e construtores da Fórmula 1 após a etapa mais recente? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I065,clima,xai.grok-4.20-non-reasoning,200,True,11.869,47333,24704,724,0,5,0.02828625,0.0049408,0.00181,0.025,0.06003705,computed_from_measured_usage,2,35,6d8ea50dc7ec7a65a2668b676a535ed1705cab22acb81a66aba32df9f8a9fb4f,4b82e04b659b0ccf5da8679fb30252a2c80989c1d1a2348e411f7cbf2a1af15b,nível atual de rio,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é o nível mais recente do Rio Negro em Manaus, com data e comparação com a medição anterior? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I065,clima,xai.grok-4.3,200,True,8.406,15889,1152,828,555,3,0.01842125,0.0002304,0.00207,0.015,0.03572165,computed_from_measured_usage,3,20,6d8ea50dc7ec7a65a2668b676a535ed1705cab22acb81a66aba32df9f8a9fb4f,4b82e04b659b0ccf5da8679fb30252a2c80989c1d1a2348e411f7cbf2a1af15b,nível atual de rio,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é o nível mais recente do Rio Negro em Manaus, com data e comparação com a medição anterior? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I090,entretenimento,xai.grok-4.20-non-reasoning,200,True,18.448,47877,22784,1250,0,6,0.03136625,0.0045568,0.003125,0.03,0.06904805,computed_from_measured_usage,5,40,9be745a0fe63400b46669f2b752d8981185172f74d6e51d6317b77cc84c8180c,9800652216e2c8dc58f7ab5014e50ba13440f7d70a777120dcacbf1c8efab71c,programação infantil próxima,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais atividades infantis estão confirmadas no Sesc Santo André neste fim de semana, com idade indicada e inscrição? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I090,entretenimento,xai.grok-4.3,200,True,16.66,17546,2048,1714,1128,3,0.0193725,0.0004096,0.004285,0.015,0.0390671,computed_from_measured_usage,9,25,9be745a0fe63400b46669f2b752d8981185172f74d6e51d6317b77cc84c8180c,9800652216e2c8dc58f7ab5014e50ba13440f7d70a777120dcacbf1c8efab71c,programação infantil próxima,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais atividades infantis estão confirmadas no Sesc Santo André neste fim de semana, com idade indicada e inscrição? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I016,culinaria,xai.grok-4.20-non-reasoning,200,True,20.641,44885,20608,1378,0,9,0.03034625,0.0041216,0.003445,0.045,0.08291285,computed_from_measured_usage,5,41,72a9621cee30e63c632a21dca73eccd6e66e2c14e60a3423b2ac801bb638a5e3,c6ed8d660c7cd224de1e5b317a98f04b1677922da4a8bf8305a6f6fbe35c2af7,chef convidado em evento atual,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais jantares com chefs convidados estão anunciados em São Paulo para os próximos 15 dias? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I016,culinaria,xai.grok-4.3,200,True,12.674,23125,2176,1212,738,3,0.02618625,0.0004352,0.00303,0.015,0.04465145,computed_from_measured_usage,5,35,72a9621cee30e63c632a21dca73eccd6e66e2c14e60a3423b2ac801bb638a5e3,c6ed8d660c7cd224de1e5b317a98f04b1677922da4a8bf8305a6f6fbe35c2af7,chef convidado em evento atual,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais jantares com chefs convidados estão anunciados em São Paulo para os próximos 15 dias? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I041,esportes,xai.grok-4.20-non-reasoning,200,True,11.418,58481,24576,657,0,7,0.04238125,0.0049152,0.0016425,0.035,0.08393895,computed_from_measured_usage,2,45,2e617aba7d184538d094f039a3783ec28f28016e4e8a8a17d36dadd5cdb7d130,0820af6a47642eac817310ed84e9a9d23a7e24ac1a5e3250f66fe44e634c6c32,agenda da MotoGP,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é a próxima etapa da MotoGP e quando serão a sprint e a corrida principal, no horário de Brasília? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I041,esportes,xai.grok-4.3,200,True,11.144,14189,2176,947,642,2,0.01501625,0.0004352,0.0023675,0.01,0.02781895,computed_from_measured_usage,5,15,2e617aba7d184538d094f039a3783ec28f28016e4e8a8a17d36dadd5cdb7d130,0820af6a47642eac817310ed84e9a9d23a7e24ac1a5e3250f66fe44e634c6c32,agenda da MotoGP,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é a próxima etapa da MotoGP e quando serão a sprint e a corrida principal, no horário de Brasília? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I066,clima,xai.grok-4.20-non-reasoning,200,True,16.525,48639,25344,928,0,6,0.02911875,0.0050688,0.00232,0.03,0.06650755,computed_from_measured_usage,5,35,1d2c36088baf7f644f372301b751783cdfb221620b7653bddee88a72b252d20c,26dc94eb68255df5f7e1e76966871d71becc3649853bf785c3eeaef308e7caf1,boletim atual de reservatórios,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é a situação mais recente do Sistema Cantareira, incluindo volume e data do boletim? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I066,clima,xai.grok-4.3,200,True,9.893,16232,2176,925,552,3,0.01757,0.0004352,0.0023125,0.015,0.0353177,computed_from_measured_usage,3,20,1d2c36088baf7f644f372301b751783cdfb221620b7653bddee88a72b252d20c,26dc94eb68255df5f7e1e76966871d71becc3649853bf785c3eeaef308e7caf1,boletim atual de reservatórios,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é a situação mais recente do Sistema Cantareira, incluindo volume e data do boletim? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I091,entretenimento,xai.grok-4.20-non-reasoning,200,True,16.133,48380,20864,990,0,8,0.034395,0.0041728,0.002475,0.04,0.0810428,computed_from_measured_usage,6,46,2c0f83d9cb7ae97778646aedc15e690380621be6f1c0816d45c4179628b747e2,13213d7230ac535ba62b00e7ffc6ada547afb4239e34bedc9a8cee6e23e0c824,lançamento recente de álbum,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais álbuns de artistas brasileiros foram lançados nos últimos sete dias? Informe artista, título e data. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I091,entretenimento,xai.grok-4.3,200,True,14.51,23457,2048,1439,893,3,0.02676125,0.0004096,0.0035975,0.015,0.04576835,computed_from_measured_usage,11,35,2c0f83d9cb7ae97778646aedc15e690380621be6f1c0816d45c4179628b747e2,13213d7230ac535ba62b00e7ffc6ada547afb4239e34bedc9a8cee6e23e0c824,lançamento recente de álbum,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais álbuns de artistas brasileiros foram lançados nos últimos sete dias? Informe artista, título e data. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I017,culinaria,xai.grok-4.20-non-reasoning,200,True,10.103,55415,2688,594,0,6,0.06590875,0.0005376,0.001485,0.03,0.09793135,computed_from_measured_usage,2,60,36c3c21fe52815081f09b828331c5c5577a32dc91a296eb0bf059fafd041ee9d,6ecf80996df108806dcb5f8364df4f3b31317eb3c8b5ab0ba8cf9717b1995826,concurso gastronômico recente,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quem venceu o concurso de melhor queijo no campeonato brasileiro mais recente? Informe o nome e a data do concurso. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I017,culinaria,xai.grok-4.3,200,True,8.152,16335,2176,777,493,3,0.01769875,0.0004352,0.0019425,0.015,0.03507645,computed_from_measured_usage,2,25,36c3c21fe52815081f09b828331c5c5577a32dc91a296eb0bf059fafd041ee9d,6ecf80996df108806dcb5f8364df4f3b31317eb3c8b5ab0ba8cf9717b1995826,concurso gastronômico recente,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quem venceu o concurso de melhor queijo no campeonato brasileiro mais recente? Informe o nome e a data do concurso. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I042,esportes,xai.grok-4.20-non-reasoning,200,True,12.728,42625,19968,944,0,6,0.02832125,0.0039936,0.00236,0.03,0.06467485,computed_from_measured_usage,6,24,d54168523fae67ead3153fd36a9ef0f217b06ffa96af7d93b04142ab0edb23cd,b3e4585a2d9520e9e0ede41b0a783c8c3a00efb1e93c3815e88a9c15c79c3fab,ranking ATP atualizado,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é o top 10 do ranking ATP mais recente e qual é a data dessa atualização? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I042,esportes,xai.grok-4.3,200,True,10.175,15660,1152,1070,633,2,0.018135,0.0002304,0.002675,0.01,0.0310404,computed_from_measured_usage,5,15,d54168523fae67ead3153fd36a9ef0f217b06ffa96af7d93b04142ab0edb23cd,b3e4585a2d9520e9e0ede41b0a783c8c3a00efb1e93c3815e88a9c15c79c3fab,ranking ATP atualizado,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é o top 10 do ranking ATP mais recente e qual é a data dessa atualização? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I067,clima,xai.grok-4.20-non-reasoning,200,True,14.648,83316,40064,733,0,6,0.054065,0.0080128,0.0018325,0.03,0.0939103,computed_from_measured_usage,2,35,8fba6276765a951499ec0dae3052edb184b45c0713e15f9c1833f163364e58ff,d3664cb0567aef5980d04fd4b15708fba32c4a2b0ce335c7b0bfd76cfc9ee457,previsão atual de maré,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais são os horários e alturas de maré previstos para o porto de Santos amanhã, segundo uma tábua atual? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I067,clima,xai.grok-4.3,200,True,14.811,26518,2176,1271,850,3,0.0304275,0.0004352,0.0031775,0.015,0.0490402,computed_from_measured_usage,5,20,8fba6276765a951499ec0dae3052edb184b45c0713e15f9c1833f163364e58ff,d3664cb0567aef5980d04fd4b15708fba32c4a2b0ce335c7b0bfd76cfc9ee457,previsão atual de maré,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais são os horários e alturas de maré previstos para o porto de Santos amanhã, segundo uma tábua atual? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I092,entretenimento,xai.grok-4.20-non-reasoning,200,True,7.381,21508,256,524,0,3,0.026565,0.0000512,0.00131,0.015,0.0429262,computed_from_measured_usage,2,20,c34600a15969259bfe73386f704c63da2774503e266a5f80bc9161e5aead7daa,a2c9e189ed0a0133f2131e77164f7ef4abe12ae0416cfb5d1f868b6a6525a859,parada musical atual,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais músicas lideram o ranking semanal mais recente do Spotify Brasil e qual é o período considerado? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I092,entretenimento,xai.grok-4.3,200,True,10.333,26400,2048,899,546,3,0.03044,0.0004096,0.0022475,0.015,0.0480971,computed_from_measured_usage,5,25,c34600a15969259bfe73386f704c63da2774503e266a5f80bc9161e5aead7daa,a2c9e189ed0a0133f2131e77164f7ef4abe12ae0416cfb5d1f868b6a6525a859,parada musical atual,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais músicas lideram o ranking semanal mais recente do Spotify Brasil e qual é o período considerado? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I018,culinaria,xai.grok-4.20-non-reasoning,200,True,21.496,47880,23552,1345,0,8,0.03041,0.0047104,0.0033625,0.04,0.0784829,computed_from_measured_usage,5,41,2716f743db6bc17437f1af7b99c781dabdf39e93a8ea67111d93658834700c8f,b386ca9cfc61f5820335bf41f411a06b04ca025985f108122fbf2c27489d1038,lançamento recente de livro culinário,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais livros de culinária em português foram lançados nos últimos 60 dias, com autoria e editora? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I018,culinaria,xai.grok-4.3,200,True,15.112,18352,2048,1423,829,3,0.02038,0.0004096,0.0035575,0.015,0.0393471,computed_from_measured_usage,6,26,2716f743db6bc17437f1af7b99c781dabdf39e93a8ea67111d93658834700c8f,b386ca9cfc61f5820335bf41f411a06b04ca025985f108122fbf2c27489d1038,lançamento recente de livro culinário,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais livros de culinária em português foram lançados nos últimos 60 dias, com autoria e editora? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I043,esportes,xai.grok-4.20-non-reasoning,200,True,10.587,56130,25088,491,0,5,0.0388025,0.0050176,0.0012275,0.025,0.0700476,computed_from_measured_usage,3,35,9ceee58e93946f2f78467ad762ca92d526f7ec7c167580b7c59035402202571c,cfb5af1f2566ca85f2c183f6537cc4ec0328b43c4d66943654637c135a1143fb,ranking WTA atualizado,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é o top 10 do ranking WTA mais recente e qual é a data dessa atualização? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I043,esportes,xai.grok-4.3,200,True,10.272,16679,2176,985,499,2,0.01812875,0.0004352,0.0024625,0.01,0.03102645,computed_from_measured_usage,2,15,9ceee58e93946f2f78467ad762ca92d526f7ec7c167580b7c59035402202571c,cfb5af1f2566ca85f2c183f6537cc4ec0328b43c4d66943654637c135a1143fb,ranking WTA atualizado,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é o top 10 do ranking WTA mais recente e qual é a data dessa atualização? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I068,clima,xai.grok-4.20-non-reasoning,200,True,11.691,68117,28160,678,0,8,0.04994625,0.005632,0.001695,0.04,0.09727325,computed_from_measured_usage,3,69,e2297f0c6597c174c3c0a84c657639c72028b740583273cd165ed5415bc2da10,3d5af5496fc6ca385fbd68e94e063bf768fe5218a9a095c6703d65e93e003980,ressaca vigente,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Há avisos vigentes de ressaca no litoral do Rio de Janeiro? Informe o intervalo de validade e a altura prevista das ondas. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I068,clima,xai.grok-4.3,200,True,12.023,33963,15232,1216,735,5,0.02341375,0.0030464,0.00304,0.025,0.05450015,computed_from_measured_usage,4,30,e2297f0c6597c174c3c0a84c657639c72028b740583273cd165ed5415bc2da10,3d5af5496fc6ca385fbd68e94e063bf768fe5218a9a095c6703d65e93e003980,ressaca vigente,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Há avisos vigentes de ressaca no litoral do Rio de Janeiro? Informe o intervalo de validade e a altura prevista das ondas. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I093,entretenimento,xai.grok-4.20-non-reasoning,200,True,15.594,56500,29184,988,0,7,0.034145,0.0058368,0.00247,0.035,0.0774518,computed_from_measured_usage,6,45,857608c05f2c3a770209084078b7a715cc12baed07395260cd335824c89ea126,80af18f5d023c29df576a5bdadc7cdf6126ce168728e046f3974bee3b9af5094,próximo lançamento de videogame,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais jogos com lançamento confirmado para PlayStation 5 estão previstos para os próximos 15 dias no Brasil? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I093,entretenimento,xai.grok-4.3,200,True,14.124,21705,2176,1417,772,3,0.02441125,0.0004352,0.0035425,0.015,0.04338895,computed_from_measured_usage,14,30,857608c05f2c3a770209084078b7a715cc12baed07395260cd335824c89ea126,80af18f5d023c29df576a5bdadc7cdf6126ce168728e046f3974bee3b9af5094,próximo lançamento de videogame,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais jogos com lançamento confirmado para PlayStation 5 estão previstos para os próximos 15 dias no Brasil? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I019,culinaria,xai.grok-4.20-non-reasoning,200,True,11.483,10899,6528,732,0,5,0.00546375,0.0013056,0.00183,0.025,0.03359935,computed_from_measured_usage,2,7,63b3f4af7501b49b2fb15cfbb567afa4d36e074083baa89e65b597de195a8f4c,2f6fbb8b485103eb30d9036b8f862b9231517b20f52bfccdd90a26cca9054bb7,receita publicada nesta semana,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Encontre uma receita de jantar publicada nesta semana por um portal culinário brasileiro; informe ingredientes, rendimento e data. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I019,culinaria,xai.grok-4.3,200,True,13.095,20723,10752,1338,778,4,0.01246375,0.0021504,0.003345,0.02,0.03795915,computed_from_measured_usage,6,13,63b3f4af7501b49b2fb15cfbb567afa4d36e074083baa89e65b597de195a8f4c,2f6fbb8b485103eb30d9036b8f862b9231517b20f52bfccdd90a26cca9054bb7,receita publicada nesta semana,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Encontre uma receita de jantar publicada nesta semana por um portal culinário brasileiro; informe ingredientes, rendimento e data. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I044,esportes,xai.grok-4.20-non-reasoning,200,True,10.861,58278,21376,616,0,7,0.0461275,0.0042752,0.00154,0.035,0.0869427,computed_from_measured_usage,5,65,43b30b61d37c314c11f3c4f52e544e805bf33d4647d52296eaeef4ab6f88eb75,929e37beb866237dfd9ec03e35b0eceee37305eecf035cdbfafbbf6bbced8567,próximo jogo de tenista brasileiro,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é o próximo jogo confirmado de João Fonseca, com adversário, torneio, horário e transmissão se disponíveis? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I044,esportes,xai.grok-4.3,200,True,8.411,12992,2048,693,394,3,0.01368,0.0004096,0.0017325,0.015,0.0308221,computed_from_measured_usage,3,20,43b30b61d37c314c11f3c4f52e544e805bf33d4647d52296eaeef4ab6f88eb75,929e37beb866237dfd9ec03e35b0eceee37305eecf035cdbfafbbf6bbced8567,próximo jogo de tenista brasileiro,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é o próximo jogo confirmado de João Fonseca, com adversário, torneio, horário e transmissão se disponíveis? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I069,clima,xai.grok-4.20-non-reasoning,200,True,15.99,65389,31488,1039,0,7,0.04237625,0.0062976,0.0025975,0.035,0.08627135,computed_from_measured_usage,4,40,f95036ab4fba56be75b93312354fdecf52bc681fa73f716fcf05f7799724965c,f24f538a46db1094f7cbcca05e546dd6c4f2565ba0cee59d9a038b8062934669,vento para passeio de barco,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é a previsão de vento e rajadas para Ilhabela amanhã de manhã, com horário de atualização da fonte? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I069,clima,xai.grok-4.3,200,True,12.929,17969,2176,1389,884,3,0.01974125,0.0004352,0.0034725,0.015,0.03864895,computed_from_measured_usage,7,20,f95036ab4fba56be75b93312354fdecf52bc681fa73f716fcf05f7799724965c,f24f538a46db1094f7cbcca05e546dd6c4f2565ba0cee59d9a038b8062934669,vento para passeio de barco,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é a previsão de vento e rajadas para Ilhabela amanhã de manhã, com horário de atualização da fonte? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I094,entretenimento,xai.grok-4.20-non-reasoning,200,True,12.367,40475,21248,780,0,7,0.02403375,0.0042496,0.00195,0.035,0.06523335,computed_from_measured_usage,4,35,fd6247e0d9fdaa128d987d9247b04db30482b1be5cbca9bee2b14a18f6860b18,7468877e9309c5d8ac7db4d2ead4399dccd9c8c781e5076fb3c83183d527d576,promoção vigente de jogos,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais jogos estão gratuitos ou com promoção de 100% oficialmente vigente na Epic Games Store hoje, e até quando? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I094,entretenimento,xai.grok-4.3,200,True,9.988,16031,2176,1086,682,3,0.01731875,0.0004352,0.002715,0.015,0.03546895,computed_from_measured_usage,3,25,fd6247e0d9fdaa128d987d9247b04db30482b1be5cbca9bee2b14a18f6860b18,7468877e9309c5d8ac7db4d2ead4399dccd9c8c781e5076fb3c83183d527d576,promoção vigente de jogos,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais jogos estão gratuitos ou com promoção de 100% oficialmente vigente na Epic Games Store hoje, e até quando? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I020,culinaria,xai.grok-4.20-non-reasoning,200,True,9.168,34750,13440,600,0,6,0.0266375,0.002688,0.0015,0.03,0.0608255,computed_from_measured_usage,3,39,927d03a3c107f465cf5e644f3112472dac0e5661d2a72a02f299bd1d7ff1ebaa,781a4ecb59f07c79b6939da3196e298992801808665affa73b0c0fab5add00c4,receita sazonal recém-publicada,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Encontre uma receita com frutas da estação publicada nos últimos 30 dias no Panelinha; informe a data e a fonte. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I020,culinaria,xai.grok-4.3,200,True,9.839,28459,1280,777,446,4,0.03397375,0.000256,0.0019425,0.02,0.05617225,computed_from_measured_usage,2,30,927d03a3c107f465cf5e644f3112472dac0e5661d2a72a02f299bd1d7ff1ebaa,781a4ecb59f07c79b6939da3196e298992801808665affa73b0c0fab5add00c4,receita sazonal recém-publicada,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Encontre uma receita com frutas da estação publicada nos últimos 30 dias no Panelinha; informe a data e a fonte. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I045,esportes,xai.grok-4.20-non-reasoning,200,True,13.658,50173,24960,879,0,6,0.03151625,0.004992,0.0021975,0.03,0.06870575,computed_from_measured_usage,3,40,f68c7a26a071564bccc19b9d1f200999bcddbd63e14bcd26fcf9c1e47e027227,92a08a6114965259e91b2772fa3988311189a13fe0f88149a7deaeaa794790b6,calendário de vôlei da semana,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais partidas da Superliga brasileira de vôlei estão confirmadas para os próximos sete dias, com horários e transmissão? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I045,esportes,xai.grok-4.3,200,True,17.099,21721,1152,1275,717,3,0.02571125,0.0002304,0.0031875,0.015,0.04412915,computed_from_measured_usage,9,30,f68c7a26a071564bccc19b9d1f200999bcddbd63e14bcd26fcf9c1e47e027227,92a08a6114965259e91b2772fa3988311189a13fe0f88149a7deaeaa794790b6,calendário de vôlei da semana,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais partidas da Superliga brasileira de vôlei estão confirmadas para os próximos sete dias, com horários e transmissão? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I070,clima,xai.grok-4.20-non-reasoning,200,True,10.732,25000,12800,662,0,5,0.01525,0.00256,0.001655,0.025,0.044465,computed_from_measured_usage,4,25,affb802f8b93e68a44e812e70df187e00fe413e0e344ada0845337a35e75f606,794d4a5c6072e4d5cb9dbdb128fd96d1ee2e5e2ca567fec9ef02bd3f042cc6e8,boletim atual de ciclone,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Há algum ciclone tropical ativo no Atlântico segundo o boletim mais recente do NHC? Informe horário e localização, se houver. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I070,clima,xai.grok-4.3,200,True,10.249,11092,2176,785,481,3,0.011145,0.0004352,0.0019625,0.015,0.0285427,computed_from_measured_usage,3,20,affb802f8b93e68a44e812e70df187e00fe413e0e344ada0845337a35e75f606,794d4a5c6072e4d5cb9dbdb128fd96d1ee2e5e2ca567fec9ef02bd3f042cc6e8,boletim atual de ciclone,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Há algum ciclone tropical ativo no Atlântico segundo o boletim mais recente do NHC? Informe horário e localização, se houver. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I095,entretenimento,xai.grok-4.20-non-reasoning,200,True,18.7,40304,21120,1245,0,6,0.02398,0.004224,0.0031125,0.03,0.0613165,computed_from_measured_usage,11,35,051861f912cd199ac88f7e54470c4d711060146a34fe3fadb7e4a8708f6cc0f9,b2bcc0ce21e6ebd4e8b4bdf73f4e27eac34ca019bdf8b8952c80225f9ac0c64f,atualização recente de videogame,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é a atualização mais recente publicada oficialmente para Fortnite e quais novidades foram anunciadas? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I095,entretenimento,xai.grok-4.3,200,True,11.738,13087,2048,969,549,3,0.01379875,0.0004096,0.0024225,0.015,0.03163085,computed_from_measured_usage,6,20,051861f912cd199ac88f7e54470c4d711060146a34fe3fadb7e4a8708f6cc0f9,b2bcc0ce21e6ebd4e8b4bdf73f4e27eac34ca019bdf8b8952c80225f9ac0c64f,atualização recente de videogame,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é a atualização mais recente publicada oficialmente para Fortnite e quais novidades foram anunciadas? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I021,culinaria,xai.grok-4.20-non-reasoning,200,True,13.315,37100,17536,867,0,6,0.024455,0.0035072,0.0021675,0.03,0.0601297,computed_from_measured_usage,5,25,1f0a3d74df62a5e60553aab268936fe97a668c40b7a3a390e9e525c52f237d68,7dedebe969f581d255cbee70299acccc3af2bf3aa1af51d7d6a1079b42b8c8af,preço atacadista atual de hortaliças,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é a cotação mais recente de tomate e batata na CEAGESP? Informe data, unidade e categoria dos produtos. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I021,culinaria,xai.grok-4.3,200,True,10.288,14452,2176,920,551,3,0.015345,0.0004352,0.0023,0.015,0.0330802,computed_from_measured_usage,5,16,1f0a3d74df62a5e60553aab268936fe97a668c40b7a3a390e9e525c52f237d68,7dedebe969f581d255cbee70299acccc3af2bf3aa1af51d7d6a1079b42b8c8af,preço atacadista atual de hortaliças,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é a cotação mais recente de tomate e batata na CEAGESP? Informe data, unidade e categoria dos produtos. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I046,esportes,xai.grok-4.20-non-reasoning,200,True,14.485,45542,22400,923,0,6,0.0289275,0.00448,0.0023075,0.03,0.0657150,computed_from_measured_usage,4,30,04181f46c4ad53f413c2421d890e1bd82b074b4cc4fef13155a808d674fb6e09,8020b0d97e825032b1706e2c535578ec24603ee380cb11d5bbb9f58c8f18c68e,resultado recente de surfe,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quem venceu a etapa mais recente do circuito mundial de surfe e como ficou a classificação? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I046,esportes,xai.grok-4.3,200,True,13.202,18787,1152,1211,694,3,0.02204375,0.0002304,0.0030275,0.015,0.04030165,computed_from_measured_usage,4,20,04181f46c4ad53f413c2421d890e1bd82b074b4cc4fef13155a808d674fb6e09,8020b0d97e825032b1706e2c535578ec24603ee380cb11d5bbb9f58c8f18c68e,resultado recente de surfe,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quem venceu a etapa mais recente do circuito mundial de surfe e como ficou a classificação? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I071,clima,xai.grok-4.20-non-reasoning,200,True,20.612,59697,28288,973,0,8,0.03926125,0.0056576,0.0024325,0.04,0.08735135,computed_from_measured_usage,3,45,c4cccda13cb2763e9edb4772f6f3ae8aef9162f4250c542bae6ad9d199e7be8b,9963d9c612233442484b9b72a2102c143ea19ef805322d019b8db831b6db9c8e,neve prevista em estação de esqui,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é a previsão de neve e a situação operacional atual de Cerro Catedral, na Argentina, para os próximos sete dias? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I071,clima,xai.grok-4.3,200,True,11.162,18316,2176,1058,600,3,0.020175,0.0004352,0.002645,0.015,0.0382552,computed_from_measured_usage,8,25,c4cccda13cb2763e9edb4772f6f3ae8aef9162f4250c542bae6ad9d199e7be8b,9963d9c612233442484b9b72a2102c143ea19ef805322d019b8db831b6db9c8e,neve prevista em estação de esqui,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é a previsão de neve e a situação operacional atual de Cerro Catedral, na Argentina, para os próximos sete dias? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I096,entretenimento,xai.grok-4.20-non-reasoning,200,True,17.701,38827,16768,742,0,6,0.02757375,0.0033536,0.001855,0.03,0.06278235,computed_from_measured_usage,4,25,9f3ee324006186656e5bbc1a1ebd262ea5a16be58efa920ad9b8cd613ab1578e,6d9ab43d5ed888c6435568e6eefb5108e046dece93246ec8ae1f1b2dcfe99392,programação de TV de hoje,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é a programação da TV Cultura para hoje à noite, com horários de Brasília e fonte oficial? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I096,entretenimento,xai.grok-4.3,200,True,11.145,22189,2048,1033,657,3,0.02517625,0.0004096,0.0025825,0.015,0.04316835,computed_from_measured_usage,4,25,9f3ee324006186656e5bbc1a1ebd262ea5a16be58efa920ad9b8cd613ab1578e,6d9ab43d5ed888c6435568e6eefb5108e046dece93246ec8ae1f1b2dcfe99392,programação de TV de hoje,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é a programação da TV Cultura para hoje à noite, com horários de Brasília e fonte oficial? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I022,culinaria,xai.grok-4.20-non-reasoning,200,True,31.681,66557,42752,1526,0,10,0.02975625,0.0085504,0.003815,0.05,0.09212165,computed_from_measured_usage,6,36,f831e4f0436a0b5b920d6ee8b113be8b70a7814c6436ecd1fe290ce7944505e4,a0addc4355a8c680f785e79df333d2b2a6da578b8dc20e142f437422db6aeca0,promoção de supermercado vigente,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais ofertas de azeite estão publicadas em encartes online de supermercados de São Paulo com validade incluindo a data de referência? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I022,culinaria,xai.grok-4.3,200,True,17.222,20016,2176,1328,819,3,0.0223,0.0004352,0.00332,0.015,0.0410552,computed_from_measured_usage,7,25,f831e4f0436a0b5b920d6ee8b113be8b70a7814c6436ecd1fe290ce7944505e4,a0addc4355a8c680f785e79df333d2b2a6da578b8dc20e142f437422db6aeca0,promoção de supermercado vigente,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais ofertas de azeite estão publicadas em encartes online de supermercados de São Paulo com validade incluindo a data de referência? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I047,esportes,xai.grok-4.20-non-reasoning,200,True,15.424,70138,34048,1030,0,8,0.0451125,0.0068096,0.002575,0.04,0.0944971,computed_from_measured_usage,4,55,4bf73cf45fe62d1d17e484418e5c107f3bd191034403cd6748819cf732167c45,4184d87bcb3b26483f5e018deaca7622fb571e5fe4790faab784767891e31c86,próximo card do UFC,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é o próximo evento do UFC, quais lutas estão confirmadas e onde assistir no Brasil? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I047,esportes,xai.grok-4.3,200,True,11.13,14545,2176,1068,635,3,0.01546125,0.0004352,0.00267,0.015,0.03356645,computed_from_measured_usage,5,20,4bf73cf45fe62d1d17e484418e5c107f3bd191034403cd6748819cf732167c45,4184d87bcb3b26483f5e018deaca7622fb571e5fe4790faab784767891e31c86,próximo card do UFC,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é o próximo evento do UFC, quais lutas estão confirmadas e onde assistir no Brasil? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I072,clima,xai.grok-4.20-non-reasoning,200,True,15.254,52632,27264,869,0,6,0.03171,0.0054528,0.0021725,0.03,0.0693353,computed_from_measured_usage,3,25,f0f03f1cf133d4e32f1cc5a9bc359eb4cd8a582613651f689117646016e0e14d,63f7fb5603fe2739845322011ccbbeb4d8883bb23af880c29b3a574792f42da5,tempo no destino internacional,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é a previsão de temperatura e chuva em Lisboa para os próximos três dias, com a data da previsão? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I072,clima,xai.grok-4.3,200,True,11.327,20458,2048,1173,757,2,0.0230125,0.0004096,0.0029325,0.01,0.0363546,computed_from_measured_usage,11,20,f0f03f1cf133d4e32f1cc5a9bc359eb4cd8a582613651f689117646016e0e14d,63f7fb5603fe2739845322011ccbbeb4d8883bb23af880c29b3a574792f42da5,tempo no destino internacional,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é a previsão de temperatura e chuva em Lisboa para os próximos três dias, com a data da previsão? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I097,entretenimento,xai.grok-4.20-non-reasoning,200,True,12.912,44974,23552,776,0,5,0.0267775,0.0047104,0.00194,0.025,0.0584279,computed_from_measured_usage,3,35,37afb0826b3ae9df311aca85b848589298736a0ebf57de9bf6a910312bb51731,a1cb92c3f4960feafa9c4f0096b5e5ac70a9a7b4512e2cfd1ff8cab43654f5a2,prêmio cinematográfico recente,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais foram os vencedores das principais categorias da edição mais recente do Festival do Rio? Informe a data da premiação. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I097,entretenimento,xai.grok-4.3,200,True,9.068,17956,2176,918,475,3,0.019725,0.0004352,0.002295,0.015,0.0374552,computed_from_measured_usage,6,25,37afb0826b3ae9df311aca85b848589298736a0ebf57de9bf6a910312bb51731,a1cb92c3f4960feafa9c4f0096b5e5ac70a9a7b4512e2cfd1ff8cab43654f5a2,prêmio cinematográfico recente,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais foram os vencedores das principais categorias da edição mais recente do Festival do Rio? Informe a data da premiação. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I023,culinaria,xai.grok-4.20-non-reasoning,200,True,15.325,61899,24960,924,0,8,0.04617375,0.004992,0.00231,0.04,0.09347575,computed_from_measured_usage,4,65,87374424260a0f38c25b0fcaec78bd000062617bfd38e5d196648b68ab87f897,409accf55a11f65b9414dcac3cd2b9e7fca0995aad800f2fbbae1b2126dab3f4,harmonização em evento próximo,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais degustações de vinho com harmonização estão agendadas em São Paulo para os próximos sete dias, com valores? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I023,culinaria,xai.grok-4.3,200,True,12.589,16669,2048,1302,815,3,0.01827625,0.0004096,0.003255,0.015,0.03694085,computed_from_measured_usage,5,25,87374424260a0f38c25b0fcaec78bd000062617bfd38e5d196648b68ab87f897,409accf55a11f65b9414dcac3cd2b9e7fca0995aad800f2fbbae1b2126dab3f4,harmonização em evento próximo,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais degustações de vinho com harmonização estão agendadas em São Paulo para os próximos sete dias, com valores? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I048,esportes,xai.grok-4.20-non-reasoning,200,True,14.863,68167,28032,939,0,7,0.05016875,0.0056064,0.0023475,0.035,0.09312265,computed_from_measured_usage,4,65,40e85f3c5c2603662a72fcf6d7f5e3dfa899b2457e9a8955a7ead9025e2c46d5,049b711852110c3a3e13fccaec35113dc8610ec6f37ab28369b0a1a0f3505911,corrida de rua com inscrições abertas,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais corridas de rua de 5 ou 10 km em São Paulo nos próximos 30 dias ainda anunciam inscrições abertas e preços? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I048,esportes,xai.grok-4.3,200,True,12.326,24710,2176,1224,726,3,0.0281675,0.0004352,0.00306,0.015,0.0466627,computed_from_measured_usage,5,35,40e85f3c5c2603662a72fcf6d7f5e3dfa899b2457e9a8955a7ead9025e2c46d5,049b711852110c3a3e13fccaec35113dc8610ec6f37ab28369b0a1a0f3505911,corrida de rua com inscrições abertas,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais corridas de rua de 5 ou 10 km em São Paulo nos próximos 30 dias ainda anunciam inscrições abertas e preços? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I073,clima,xai.grok-4.20-non-reasoning,200,True,14.025,29658,15744,877,0,6,0.0173925,0.0031488,0.0021925,0.03,0.0527338,computed_from_measured_usage,3,25,14befcfe04587db21aa420684b23b148d4fd523600cd2b675894c7e718d56d1d,dd830e1f138f0cad7049a74bfa2d4a7e86ae79ed84984cde92a4826431b3c26b,tendência climática recém-publicada,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é o prognóstico climático mais recente do INMET para o próximo trimestre no Sudeste brasileiro? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I073,clima,xai.grok-4.3,200,True,12.721,13379,2176,1191,711,3,0.01400375,0.0004352,0.0029775,0.015,0.03241645,computed_from_measured_usage,4,20,14befcfe04587db21aa420684b23b148d4fd523600cd2b675894c7e718d56d1d,dd830e1f138f0cad7049a74bfa2d4a7e86ae79ed84984cde92a4826431b3c26b,tendência climática recém-publicada,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é o prognóstico climático mais recente do INMET para o próximo trimestre no Sudeste brasileiro? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I098,entretenimento,xai.grok-4.20-non-reasoning,200,True,16.648,61573,27392,1187,0,8,0.04272625,0.0054784,0.0029675,0.04,0.09117215,computed_from_measured_usage,3,55,9a3b9d6b756943d7dcc5a0236763ba946e18778a60c42e86f9b4367b20571034,10582d7a620cf0e9e0f159c163c21854f14f8bafbcd0d89385702cdc38b37ce3,estreia teatral anunciada,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais espetáculos têm estreia anunciada em São Paulo nos próximos 15 dias, com datas e canais oficiais de ingresso? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I098,entretenimento,xai.grok-4.3,200,True,16.042,23886,2176,1731,985,3,0.0271375,0.0004352,0.0043275,0.015,0.0469002,computed_from_measured_usage,8,35,9a3b9d6b756943d7dcc5a0236763ba946e18778a60c42e86f9b4367b20571034,10582d7a620cf0e9e0f159c163c21854f14f8bafbcd0d89385702cdc38b37ce3,estreia teatral anunciada,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais espetáculos têm estreia anunciada em São Paulo nos próximos 15 dias, com datas e canais oficiais de ingresso? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I024,culinaria,xai.grok-4.20-non-reasoning,200,True,20.311,46887,23040,852,0,7,0.02980875,0.004608,0.00213,0.035,0.07154675,computed_from_measured_usage,6,40,2056bfe2c73df136ef6533bef8c468a07ae8f75cdd14b309784e94c717729f86,4685af6064a8aeb31bb175dc1d30179de317b0203f0ac874b3b664e515bd7586,mercado municipal horário atual,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais são os horários atuais do Mercado Municipal de São Paulo e houve aviso recente de mudança para o próximo fim de semana? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I024,culinaria,xai.grok-4.3,200,True,9.243,14344,2176,837,499,3,0.01521,0.0004352,0.0020925,0.015,0.0327377,computed_from_measured_usage,5,20,2056bfe2c73df136ef6533bef8c468a07ae8f75cdd14b309784e94c717729f86,4685af6064a8aeb31bb175dc1d30179de317b0203f0ac874b3b664e515bd7586,mercado municipal horário atual,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais são os horários atuais do Mercado Municipal de São Paulo e houve aviso recente de mudança para o próximo fim de semana? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I049,esportes,xai.grok-4.20-non-reasoning,200,True,17.873,43218,21248,1155,0,6,0.0274625,0.0042496,0.0028875,0.03,0.0645996,computed_from_measured_usage,4,40,dbdefaab651adff7bf7129469f2b3eb020bca70c69e45b0b24246dbdc2913f7a,2c6989f441e4170a14b77042182d1d02161d61312d96968b03a4f550af88a707,alteração recente de evento esportivo,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Houve cancelamento ou mudança de local de algum grande evento esportivo no Brasil nos últimos sete dias? Cite confirmação oficial. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I049,esportes,xai.grok-4.3,200,True,15.431,21827,1152,1432,859,3,0.02584375,0.0002304,0.00358,0.015,0.04465415,computed_from_measured_usage,5,35,dbdefaab651adff7bf7129469f2b3eb020bca70c69e45b0b24246dbdc2913f7a,2c6989f441e4170a14b77042182d1d02161d61312d96968b03a4f550af88a707,alteração recente de evento esportivo,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Houve cancelamento ou mudança de local de algum grande evento esportivo no Brasil nos últimos sete dias? Cite confirmação oficial. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I074,clima,xai.grok-4.20-non-reasoning,200,True,11.641,26154,14080,755,0,5,0.0150925,0.002816,0.0018875,0.025,0.0447960,computed_from_measured_usage,5,20,00d37ab34e44ec20493b5deac4dee19e44e110abb50f96a717c33463fc91a33d,2c9037be8275f43669686389ffdbc064a0f782341dbda16b64026cd085f66e1a,situação recente do El Niño,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é o diagnóstico mais recente de El Niño ou La Niña publicado pela NOAA? Informe data e probabilidade para os próximos meses. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I074,clima,xai.grok-4.3,200,True,8.162,13101,2176,768,418,3,0.01365625,0.0004352,0.00192,0.015,0.03101145,computed_from_measured_usage,5,20,00d37ab34e44ec20493b5deac4dee19e44e110abb50f96a717c33463fc91a33d,2c9037be8275f43669686389ffdbc064a0f782341dbda16b64026cd085f66e1a,situação recente do El Niño,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é o diagnóstico mais recente de El Niño ou La Niña publicado pela NOAA? Informe data e probabilidade para os próximos meses. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I099,entretenimento,xai.grok-4.20-non-reasoning,200,True,16.918,55486,25984,1209,0,9,0.0368775,0.0051968,0.0030225,0.045,0.0900968,computed_from_measured_usage,6,50,1cb9897fe374c88a1319dbabe4f530faf68a1dcb89bf80edfd1c0043aec60653,12210a170024f7526f968237648067c67042ad4289cfe9d242520e899a2f35f3,evento de cultura pop próximo,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais eventos de cultura pop ou quadrinhos estão confirmados no estado de São Paulo para os próximos 30 dias? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I099,entretenimento,xai.grok-4.3,200,True,17.789,28253,2176,1666,929,4,0.03259625,0.0004352,0.004165,0.02,0.05719645,computed_from_measured_usage,8,45,1cb9897fe374c88a1319dbabe4f530faf68a1dcb89bf80edfd1c0043aec60653,12210a170024f7526f968237648067c67042ad4289cfe9d242520e899a2f35f3,evento de cultura pop próximo,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais eventos de cultura pop ou quadrinhos estão confirmados no estado de São Paulo para os próximos 30 dias? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I025,culinaria,xai.grok-4.20-non-reasoning,200,True,9.389,17329,1792,510,0,3,0.01942125,0.0003584,0.001275,0.015,0.03605465,computed_from_measured_usage,3,26,146ef1513bfa397764b336a84d63d2fe7574e850307ad0a8aae7fc8303370b23,b0182c231a2a7e5116d73f231770d8b364598f96a1c5624e3a3b7f4098798eaf,restaurante premiado recentemente,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual restaurante venceu a categoria de melhor restaurante no prêmio gastronômico paulistano mais recentemente divulgado? Identifique prêmio e data. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I025,culinaria,xai.grok-4.3,200,True,14.722,20624,2176,1314,851,3,0.02306,0.0004352,0.003285,0.015,0.0417802,computed_from_measured_usage,6,30,146ef1513bfa397764b336a84d63d2fe7574e850307ad0a8aae7fc8303370b23,b0182c231a2a7e5116d73f231770d8b364598f96a1c5624e3a3b7f4098798eaf,restaurante premiado recentemente,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual restaurante venceu a categoria de melhor restaurante no prêmio gastronômico paulistano mais recentemente divulgado? Identifique prêmio e data. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I050,esportes,xai.grok-4.20-non-reasoning,200,True,22.262,58297,28800,1348,0,8,0.03687125,0.00576,0.00337,0.04,0.08600125,computed_from_measured_usage,4,50,312ea5d22b3ab4c9de8fbc3f6cac741466a8a4d4f86bbec9dd231ec764528e30,1b4a240ae1cc24990320da95ca744d3e27c2273efd7ad6387fd84af35b1b0ae1,agenda de esporte paralímpico,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais competições paralímpicas com participação brasileira estão confirmadas para os próximos 15 dias, com fontes atuais? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I050,esportes,xai.grok-4.3,200,True,16.702,17661,2176,1538,913,3,0.01935625,0.0004352,0.003845,0.015,0.03863645,computed_from_measured_usage,6,25,312ea5d22b3ab4c9de8fbc3f6cac741466a8a4d4f86bbec9dd231ec764528e30,1b4a240ae1cc24990320da95ca744d3e27c2273efd7ad6387fd84af35b1b0ae1,agenda de esporte paralímpico,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais competições paralímpicas com participação brasileira estão confirmadas para os próximos 15 dias, com fontes atuais? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I075,clima,xai.grok-4.20-non-reasoning,200,True,20.153,45414,23680,951,0,7,0.0271675,0.004736,0.0023775,0.035,0.0692810,computed_from_measured_usage,4,30,8c4fda5910f4c2872bac055d0fa55a46bbea65f1343476b325c2766d063ee01c,cbd7bc81f287da9c05923bacfecb386f9bdb40dad93747d8358e92e272147a8b,comparação de previsões atuais,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Compare as previsões atuais do INMET e de outro serviço para a temperatura e chuva em Belo Horizonte amanhã; destaque divergências. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I075,clima,xai.grok-4.3,200,True,14.693,21211,2176,1331,888,3,0.02379375,0.0004352,0.0033275,0.015,0.04255645,computed_from_measured_usage,5,25,8c4fda5910f4c2872bac055d0fa55a46bbea65f1343476b325c2766d063ee01c,cbd7bc81f287da9c05923bacfecb386f9bdb40dad93747d8358e92e272147a8b,comparação de previsões atuais,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Compare as previsões atuais do INMET e de outro serviço para a temperatura e chuva em Belo Horizonte amanhã; destaque divergências. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I100,entretenimento,xai.grok-4.20-non-reasoning,200,True,16.423,47976,25088,745,0,6,0.02861,0.0050176,0.0018625,0.03,0.0654901,computed_from_measured_usage,3,40,f36c95b21499a98c811a51af02247698803d7f387a10737c739ab40795277293,6e5c9d7b53e95209ec804472db0eff7c662620453ac504653ccea5573e8493c8,visitação e bilheteria de atração atual,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais são os horários de funcionamento e preços de ingresso atuais do Museu do Futebol em São Paulo e há aviso de fechamento nesta semana? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I100,entretenimento,xai.grok-4.3,200,True,10.358,13826,1152,897,513,3,0.0158425,0.0002304,0.0022425,0.015,0.0333154,computed_from_measured_usage,5,20,f36c95b21499a98c811a51af02247698803d7f387a10737c739ab40795277293,6e5c9d7b53e95209ec804472db0eff7c662620453ac504653ccea5573e8493c8,visitação e bilheteria de atração atual,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais são os horários de funcionamento e preços de ingresso atuais do Museu do Futebol em São Paulo e há aviso de fechamento nesta semana? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
16438
benchmarks/results/comparison-2026-10-15/measured-usage.json
Normal file
16438
benchmarks/results/comparison-2026-10-15/measured-usage.json
Normal file
File diff suppressed because it is too large
Load Diff
6
benchmarks/results/comparison-2026-10-15/sha256.json
Normal file
6
benchmarks/results/comparison-2026-10-15/sha256.json
Normal file
@@ -0,0 +1,6 @@
|
|||||||
|
{
|
||||||
|
"summary.json": "82a2421934a4fb75835740891b2e81e25774c601a8ffe07d023cbcc9604c7e83",
|
||||||
|
"measured-usage.json": "4f5dc913a37f62f7f37368f7f4e1949444266acc6aa8195c77528f5f7558dc2b",
|
||||||
|
"interactions.csv": "cf4939d80ace17f3f0c1e234647b9d60f462728e668947ecb6cbc8b002327503",
|
||||||
|
"REPORT.md": "0bdae53d696a1534f65de976558721a96f51bf72ce9a04dd8b7f6a40442a0ce9"
|
||||||
|
}
|
||||||
261
benchmarks/results/comparison-2026-10-15/summary.json
Normal file
261
benchmarks/results/comparison-2026-10-15/summary.json
Normal file
@@ -0,0 +1,261 @@
|
|||||||
|
{
|
||||||
|
"run_id": "comparison-2026-10-15",
|
||||||
|
"status": "complete",
|
||||||
|
"method": "100 prompts idênticos por modelo, OCI real, sem histórico e sem retry; concorrência 2",
|
||||||
|
"region": "us-chicago-1",
|
||||||
|
"reference_date": "2026-10-15",
|
||||||
|
"manifest": {
|
||||||
|
"dataset_sha256": "cd019da35e180ef111479f14b328fac0a7a0c5d76edfb493083d52378683742b",
|
||||||
|
"prices_sha256": "2c92b5befe11f8481e6a8d5f6453e7036e6df36f73d0aaeed4ceee9d27aaa536",
|
||||||
|
"system_sha256": "8a6fa58dbc2539af95cf138848caf4ac704abb6ee738ff197df2859f19788b42",
|
||||||
|
"models": [
|
||||||
|
"xai.grok-4.20-non-reasoning",
|
||||||
|
"xai.grok-4.3"
|
||||||
|
],
|
||||||
|
"reference_date": "2026-10-15",
|
||||||
|
"region": "us-chicago-1",
|
||||||
|
"concurrency": 2,
|
||||||
|
"max_output_tokens": 2400,
|
||||||
|
"retries": 0,
|
||||||
|
"transport_timeout_seconds": 150
|
||||||
|
},
|
||||||
|
"total": {
|
||||||
|
"interactions": 200,
|
||||||
|
"http_200": 200,
|
||||||
|
"websearch_confirmed": 200,
|
||||||
|
"unknown_cost": 0,
|
||||||
|
"total_usd": "11.24303815",
|
||||||
|
"mean_usd": "0.05621519075",
|
||||||
|
"median_usd": "0.05276945",
|
||||||
|
"p95_usd": "0.09127515",
|
||||||
|
"web_search_usd": "4.795",
|
||||||
|
"input_usd": "5.42838625",
|
||||||
|
"cached_input_usd": "0.5010944",
|
||||||
|
"output_usd": "0.5185575",
|
||||||
|
"input_tokens": 6848181,
|
||||||
|
"cached_input_tokens": 2505472,
|
||||||
|
"output_tokens": 207423,
|
||||||
|
"reasoning_tokens": 69002,
|
||||||
|
"web_search_calls": 959,
|
||||||
|
"median_seconds": 12.1395
|
||||||
|
},
|
||||||
|
"by_model": {
|
||||||
|
"xai.grok-4.20-non-reasoning": {
|
||||||
|
"interactions": 100,
|
||||||
|
"http_200": 100,
|
||||||
|
"websearch_confirmed": 100,
|
||||||
|
"unknown_cost": 0,
|
||||||
|
"total_usd": "7.17872765",
|
||||||
|
"mean_usd": "0.0717872765",
|
||||||
|
"median_usd": "0.06975135",
|
||||||
|
"p95_usd": "0.0944971",
|
||||||
|
"web_search_usd": "3.235",
|
||||||
|
"input_usd": "3.27227625",
|
||||||
|
"cached_input_usd": "0.4395264",
|
||||||
|
"output_usd": "0.2319250",
|
||||||
|
"input_tokens": 4815453,
|
||||||
|
"cached_input_tokens": 2197632,
|
||||||
|
"output_tokens": 92770,
|
||||||
|
"reasoning_tokens": 0,
|
||||||
|
"web_search_calls": 647,
|
||||||
|
"median_seconds": 13.5515
|
||||||
|
},
|
||||||
|
"xai.grok-4.3": {
|
||||||
|
"interactions": 100,
|
||||||
|
"http_200": 100,
|
||||||
|
"websearch_confirmed": 100,
|
||||||
|
"unknown_cost": 0,
|
||||||
|
"total_usd": "4.06431050",
|
||||||
|
"mean_usd": "0.040643105",
|
||||||
|
"median_usd": "0.0389775",
|
||||||
|
"p95_usd": "0.05617225",
|
||||||
|
"web_search_usd": "1.560",
|
||||||
|
"input_usd": "2.15611000",
|
||||||
|
"cached_input_usd": "0.0615680",
|
||||||
|
"output_usd": "0.2866325",
|
||||||
|
"input_tokens": 2032728,
|
||||||
|
"cached_input_tokens": 307840,
|
||||||
|
"output_tokens": 114653,
|
||||||
|
"reasoning_tokens": 69002,
|
||||||
|
"web_search_calls": 312,
|
||||||
|
"median_seconds": 10.594999999999999
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"by_category": {
|
||||||
|
"culinaria": {
|
||||||
|
"xai.grok-4.20-non-reasoning": {
|
||||||
|
"interactions": 25,
|
||||||
|
"http_200": 25,
|
||||||
|
"websearch_confirmed": 25,
|
||||||
|
"unknown_cost": 0,
|
||||||
|
"total_usd": "1.67610895",
|
||||||
|
"mean_usd": "0.067044358",
|
||||||
|
"median_usd": "0.06645185",
|
||||||
|
"p95_usd": "0.09347575",
|
||||||
|
"web_search_usd": "0.800",
|
||||||
|
"input_usd": "0.72552625",
|
||||||
|
"cached_input_usd": "0.0874752",
|
||||||
|
"output_usd": "0.0631075",
|
||||||
|
"input_tokens": 1017797,
|
||||||
|
"cached_input_tokens": 437376,
|
||||||
|
"output_tokens": 25243,
|
||||||
|
"reasoning_tokens": 0,
|
||||||
|
"web_search_calls": 160,
|
||||||
|
"median_seconds": 14.484
|
||||||
|
},
|
||||||
|
"xai.grok-4.3": {
|
||||||
|
"interactions": 25,
|
||||||
|
"http_200": 25,
|
||||||
|
"websearch_confirmed": 25,
|
||||||
|
"unknown_cost": 0,
|
||||||
|
"total_usd": "1.05350780",
|
||||||
|
"mean_usd": "0.042140312",
|
||||||
|
"median_usd": "0.0410104",
|
||||||
|
"p95_usd": "0.0583708",
|
||||||
|
"web_search_usd": "0.410",
|
||||||
|
"input_usd": "0.55128000",
|
||||||
|
"cached_input_usd": "0.0195328",
|
||||||
|
"output_usd": "0.0726950",
|
||||||
|
"input_tokens": 538688,
|
||||||
|
"cached_input_tokens": 97664,
|
||||||
|
"output_tokens": 29078,
|
||||||
|
"reasoning_tokens": 16979,
|
||||||
|
"web_search_calls": 82,
|
||||||
|
"median_seconds": 11.07
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"esportes": {
|
||||||
|
"xai.grok-4.20-non-reasoning": {
|
||||||
|
"interactions": 25,
|
||||||
|
"http_200": 25,
|
||||||
|
"websearch_confirmed": 25,
|
||||||
|
"unknown_cost": 0,
|
||||||
|
"total_usd": "1.88192095",
|
||||||
|
"mean_usd": "0.075276838",
|
||||||
|
"median_usd": "0.07266885",
|
||||||
|
"p95_usd": "0.0944971",
|
||||||
|
"web_search_usd": "0.790",
|
||||||
|
"input_usd": "0.91507875",
|
||||||
|
"cached_input_usd": "0.1244672",
|
||||||
|
"output_usd": "0.0523750",
|
||||||
|
"input_tokens": 1354399,
|
||||||
|
"cached_input_tokens": 622336,
|
||||||
|
"output_tokens": 20950,
|
||||||
|
"reasoning_tokens": 0,
|
||||||
|
"web_search_calls": 158,
|
||||||
|
"median_seconds": 12.815
|
||||||
|
},
|
||||||
|
"xai.grok-4.3": {
|
||||||
|
"interactions": 25,
|
||||||
|
"http_200": 25,
|
||||||
|
"websearch_confirmed": 25,
|
||||||
|
"unknown_cost": 0,
|
||||||
|
"total_usd": "0.97694465",
|
||||||
|
"mean_usd": "0.039077786",
|
||||||
|
"median_usd": "0.0392477",
|
||||||
|
"p95_usd": "0.0466627",
|
||||||
|
"web_search_usd": "0.355",
|
||||||
|
"input_usd": "0.53925875",
|
||||||
|
"cached_input_usd": "0.0125184",
|
||||||
|
"output_usd": "0.0701675",
|
||||||
|
"input_tokens": 493999,
|
||||||
|
"cached_input_tokens": 62592,
|
||||||
|
"output_tokens": 28067,
|
||||||
|
"reasoning_tokens": 16887,
|
||||||
|
"web_search_calls": 71,
|
||||||
|
"median_seconds": 10.272
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"clima": {
|
||||||
|
"xai.grok-4.20-non-reasoning": {
|
||||||
|
"interactions": 25,
|
||||||
|
"http_200": 25,
|
||||||
|
"websearch_confirmed": 25,
|
||||||
|
"unknown_cost": 0,
|
||||||
|
"total_usd": "1.81859655",
|
||||||
|
"mean_usd": "0.072743862",
|
||||||
|
"median_usd": "0.0693353",
|
||||||
|
"p95_usd": "0.09727325",
|
||||||
|
"web_search_usd": "0.820",
|
||||||
|
"input_usd": "0.81494625",
|
||||||
|
"cached_input_usd": "0.1296128",
|
||||||
|
"output_usd": "0.0540375",
|
||||||
|
"input_tokens": 1300021,
|
||||||
|
"cached_input_tokens": 648064,
|
||||||
|
"output_tokens": 21615,
|
||||||
|
"reasoning_tokens": 0,
|
||||||
|
"web_search_calls": 164,
|
||||||
|
"median_seconds": 13.31
|
||||||
|
},
|
||||||
|
"xai.grok-4.3": {
|
||||||
|
"interactions": 25,
|
||||||
|
"http_200": 25,
|
||||||
|
"websearch_confirmed": 25,
|
||||||
|
"unknown_cost": 0,
|
||||||
|
"total_usd": "0.96629490",
|
||||||
|
"mean_usd": "0.038651796",
|
||||||
|
"median_usd": "0.03733645",
|
||||||
|
"p95_usd": "0.04932415",
|
||||||
|
"web_search_usd": "0.385",
|
||||||
|
"input_usd": "0.49851000",
|
||||||
|
"cached_input_usd": "0.0148224",
|
||||||
|
"output_usd": "0.0679625",
|
||||||
|
"input_tokens": 472920,
|
||||||
|
"cached_input_tokens": 74112,
|
||||||
|
"output_tokens": 27185,
|
||||||
|
"reasoning_tokens": 17081,
|
||||||
|
"web_search_calls": 77,
|
||||||
|
"median_seconds": 10.563
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"entretenimento": {
|
||||||
|
"xai.grok-4.20-non-reasoning": {
|
||||||
|
"interactions": 25,
|
||||||
|
"http_200": 25,
|
||||||
|
"websearch_confirmed": 25,
|
||||||
|
"unknown_cost": 0,
|
||||||
|
"total_usd": "1.80210120",
|
||||||
|
"mean_usd": "0.072084048",
|
||||||
|
"median_usd": "0.07050875",
|
||||||
|
"p95_usd": "0.09117215",
|
||||||
|
"web_search_usd": "0.825",
|
||||||
|
"input_usd": "0.81672500",
|
||||||
|
"cached_input_usd": "0.0979712",
|
||||||
|
"output_usd": "0.0624050",
|
||||||
|
"input_tokens": 1143236,
|
||||||
|
"cached_input_tokens": 489856,
|
||||||
|
"output_tokens": 24962,
|
||||||
|
"reasoning_tokens": 0,
|
||||||
|
"web_search_calls": 165,
|
||||||
|
"median_seconds": 14.406
|
||||||
|
},
|
||||||
|
"xai.grok-4.3": {
|
||||||
|
"interactions": 25,
|
||||||
|
"http_200": 25,
|
||||||
|
"websearch_confirmed": 25,
|
||||||
|
"unknown_cost": 0,
|
||||||
|
"total_usd": "1.06756315",
|
||||||
|
"mean_usd": "0.042702526",
|
||||||
|
"median_usd": "0.0390671",
|
||||||
|
"p95_usd": "0.05719645",
|
||||||
|
"web_search_usd": "0.410",
|
||||||
|
"input_usd": "0.56706125",
|
||||||
|
"cached_input_usd": "0.0146944",
|
||||||
|
"output_usd": "0.0758075",
|
||||||
|
"input_tokens": 527121,
|
||||||
|
"cached_input_tokens": 73472,
|
||||||
|
"output_tokens": 30323,
|
||||||
|
"reasoning_tokens": 18055,
|
||||||
|
"web_search_calls": 82,
|
||||||
|
"median_seconds": 10.673
|
||||||
|
}
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"paired_comparisons": 100,
|
||||||
|
"paired_cheaper_counts": {
|
||||||
|
"xai.grok-4.3": 95,
|
||||||
|
"xai.grok-4.20-non-reasoning": 5
|
||||||
|
},
|
||||||
|
"billing_note": "Custo calculado de tokens e buscas medidos, a preços de lista Oracle; não é fatura conciliada. Sem impostos, descontos, VM, rede ou armazenamento.",
|
||||||
|
"quality_note": "Confirmação de busca não prova correção factual, completude ou superioridade da resposta."
|
||||||
|
}
|
||||||
258
benchmarks/run_benchmark.py
Normal file
258
benchmarks/run_benchmark.py
Normal file
@@ -0,0 +1,258 @@
|
|||||||
|
"""Benchmark pareado via OCI: 100 prompts idênticos, sem retry automático.
|
||||||
|
|
||||||
|
Sem --execute, apenas valida dados e apresenta o plano. Resultados ficam locais.
|
||||||
|
"""
|
||||||
|
from concurrent.futures import ThreadPoolExecutor
|
||||||
|
from datetime import datetime, timezone
|
||||||
|
from decimal import Decimal
|
||||||
|
import argparse
|
||||||
|
import csv
|
||||||
|
import fcntl
|
||||||
|
import hashlib
|
||||||
|
import json
|
||||||
|
import math
|
||||||
|
import os
|
||||||
|
from pathlib import Path
|
||||||
|
import statistics
|
||||||
|
import time
|
||||||
|
from urllib.parse import urlparse
|
||||||
|
import requests
|
||||||
|
|
||||||
|
ROOT = Path(__file__).resolve().parent
|
||||||
|
MODELS = ['xai.grok-4.20-non-reasoning', 'xai.grok-4.3']
|
||||||
|
D = lambda value: Decimal(str(value))
|
||||||
|
SYSTEM = ('Você é um assistente em português brasileiro. Use web_search para verificar cada consulta, '
|
||||||
|
'mesmo que conheça o assunto. A data de referência consta na pergunta. '
|
||||||
|
'Responda em até 200 palavras, cite URLs e datas das fontes. '
|
||||||
|
'Diferencie a data do fato e a data de publicação. Nunca invente preços, agendas, '
|
||||||
|
'previsões ou disponibilidade. Informe explicitamente dados não confirmados.')
|
||||||
|
|
||||||
|
def digest(value):
|
||||||
|
return hashlib.sha256(json.dumps(value, ensure_ascii=False, sort_keys=True).encode()).hexdigest()
|
||||||
|
|
||||||
|
def load_dataset():
|
||||||
|
dataset = json.loads((ROOT/'intents.json').read_text())
|
||||||
|
rows = dataset['intents']
|
||||||
|
assert len(rows) == 100 and len({r['id'] for r in rows}) == 100
|
||||||
|
assert len({r['prompt'] for r in rows}) == 100
|
||||||
|
for row in rows:
|
||||||
|
assert hashlib.sha256(row['prompt'].encode()).hexdigest() == row['prompt_sha256']
|
||||||
|
assert all(sum(r['category'] == category for r in rows) == 25
|
||||||
|
for category in ['culinaria', 'esportes', 'clima', 'entretenimento'])
|
||||||
|
return dataset
|
||||||
|
|
||||||
|
def calculate_cost(usage, model, prices):
|
||||||
|
"""Saída já inclui raciocínio; cache é subconjunto da entrada. Sem duplicação."""
|
||||||
|
try:
|
||||||
|
total_in = usage['input_tokens']
|
||||||
|
cached = usage['input_tokens_details']['cached_tokens']
|
||||||
|
output = usage['output_tokens']
|
||||||
|
calls = usage['server_side_tool_usage_details']['web_search_calls']
|
||||||
|
if any(not isinstance(v, int) or v < 0 for v in [total_in, cached, output, calls]) or cached > total_in:
|
||||||
|
return {'status': 'unknown', 'reason': 'Invalid usage counters'}
|
||||||
|
detail = usage['server_side_tool_usage_details']
|
||||||
|
if any(v for k, v in detail.items() if k != 'web_search_calls'):
|
||||||
|
return {'status': 'unknown', 'reason': 'Other billable tools observed'}
|
||||||
|
family = 'grok-4.20' if model.startswith('xai.grok-4.20-') else model.removeprefix('xai.')
|
||||||
|
rate = prices['models'][family]
|
||||||
|
def priced(band):
|
||||||
|
regular_cost = D(total_in-cached)*D(rate['input_'+band]['usd'])/D(1000000)
|
||||||
|
cached_cost = D(cached)*D(rate['cached_'+band]['usd'])/D(1000000)
|
||||||
|
output_cost = D(output)*D(rate['output_'+band]['usd'])/D(1000000)
|
||||||
|
search_cost = D(calls)*D(prices['web_search']['usd_per_1000'])/D(1000)
|
||||||
|
return {'status': 'computed_from_measured_usage', 'input_usd': str(regular_cost),
|
||||||
|
'cached_input_usd': str(cached_cost), 'output_usd': str(output_cost),
|
||||||
|
'web_search_usd': str(search_cost),
|
||||||
|
'total_usd': str(regular_cost+cached_cost+output_cost+search_cost),
|
||||||
|
'input_tokens': total_in, 'cached_input_tokens': cached,
|
||||||
|
'output_tokens': output,
|
||||||
|
'reasoning_tokens': usage.get('output_tokens_details', {}).get('reasoning_tokens'),
|
||||||
|
'web_search_calls': calls}
|
||||||
|
if total_in < 200000:
|
||||||
|
return priced('short')
|
||||||
|
# Uso de loops pode ser agregado. Resolver a faixa somente quando a fórmula
|
||||||
|
# dos SKUs Oracle coincide exatamente com o custo nativo carregado pela OCI.
|
||||||
|
ticks = usage.get('cost_in_usd_ticks')
|
||||||
|
if not isinstance(ticks, int) or ticks < 0:
|
||||||
|
return {'status': 'unknown', 'reason': 'Long-context band needs native cost reconciliation'}
|
||||||
|
native = D(ticks)/D(10000000000)
|
||||||
|
matches = [(band, priced(band)) for band in ['short', 'long']
|
||||||
|
if D(priced(band)['total_usd']) == native]
|
||||||
|
if len(matches) != 1:
|
||||||
|
return {'status': 'unknown', 'reason': 'No unique Oracle price band matching native cost'}
|
||||||
|
band, result = matches[0]
|
||||||
|
return {**result, 'pricing_band': band,
|
||||||
|
'band_validation': 'Oracle SKU formula equals cost_in_usd_ticks / 10^10; not OCI invoice reconciliation'}
|
||||||
|
except (KeyError, TypeError):
|
||||||
|
return {'status': 'unknown', 'reason': 'Missing billing usage counters'}
|
||||||
|
|
||||||
|
def append_event(path, event):
|
||||||
|
with path.open('a') as handle:
|
||||||
|
handle.write(json.dumps(event, ensure_ascii=False)+'\n')
|
||||||
|
handle.flush()
|
||||||
|
os.fsync(handle.fileno())
|
||||||
|
|
||||||
|
def invoke(model, intent, base, headers, prices, raw_folder):
|
||||||
|
neutral_body = {'input': [{'role': 'user', 'content': intent['prompt']}],
|
||||||
|
'instructions': SYSTEM, 'tools': [{'type': 'web_search'}],
|
||||||
|
'store': False, 'max_output_tokens': 2400}
|
||||||
|
body = {'model': model, **neutral_body}
|
||||||
|
result = {'model': model, 'intent_id': intent['id'], 'category': intent['category'],
|
||||||
|
'prompt_sha256': intent['prompt_sha256'], 'shared_payload_sha256': digest(neutral_body),
|
||||||
|
'started_at': datetime.now(timezone.utc).isoformat()}
|
||||||
|
started = time.monotonic()
|
||||||
|
try:
|
||||||
|
response = requests.post(base+'/responses', headers=headers, json=body, timeout=(10, 150))
|
||||||
|
result['http'] = response.status_code
|
||||||
|
try:
|
||||||
|
data = response.json()
|
||||||
|
except ValueError:
|
||||||
|
data = {}
|
||||||
|
(raw_folder/f"{intent['id']}-{model}.json").write_text(json.dumps(data, ensure_ascii=False, indent=2))
|
||||||
|
output = data.get('output', [])
|
||||||
|
events = [item for item in output if item.get('type') == 'web_search_call']
|
||||||
|
citations = [a for item in output for content in item.get('content', [])
|
||||||
|
for a in content.get('annotations', []) if a.get('type') == 'url_citation']
|
||||||
|
sources = [s for item in events for s in item.get('action', {}).get('sources', [])]
|
||||||
|
answer = '\n'.join(content.get('text', '') for item in output for content in item.get('content', []))
|
||||||
|
searches = [item for item in events if item.get('status') == 'completed'
|
||||||
|
and item.get('action', {}).get('type') == 'search']
|
||||||
|
result.update(returned_model=data.get('model'), provider_response_id=data.get('id'),
|
||||||
|
usage=data.get('usage'),
|
||||||
|
tool_events=[{'action': e.get('action', {}).get('type'), 'status': e.get('status')} for e in events],
|
||||||
|
citation_count=len(citations), source_count=len(sources), answer_chars=len(answer),
|
||||||
|
response_status=data.get('status'),
|
||||||
|
incomplete_details=data.get('incomplete_details'),
|
||||||
|
websearch_confirmed=response.status_code == 200 and bool(searches) and bool(sources) and bool(citations),
|
||||||
|
cost=calculate_cost(data.get('usage') or {}, model, prices))
|
||||||
|
if response.status_code != 200:
|
||||||
|
result['failure'] = 'provider_http_error'
|
||||||
|
except requests.RequestException as exc:
|
||||||
|
# Timeout não prova ausência de cobrança. Não reenviar a interação.
|
||||||
|
result.update(http=None, failure=type(exc).__name__,
|
||||||
|
cost={'status': 'unknown', 'reason': 'Transport failure; billing may have occurred'})
|
||||||
|
result['seconds'] = round(time.monotonic()-started, 3)
|
||||||
|
result['finished_at'] = datetime.now(timezone.utc).isoformat()
|
||||||
|
return result
|
||||||
|
|
||||||
|
def export_results(folder, rows, reservation):
|
||||||
|
fields = ['intent_id','category','model','http','websearch_confirmed','seconds',
|
||||||
|
'input_tokens','cached_input_tokens','output_tokens','reasoning_tokens','web_search_calls',
|
||||||
|
'input_usd','cached_input_usd','output_usd','web_search_usd','total_usd','cost_status',
|
||||||
|
'citation_count','source_count','prompt_sha256','shared_payload_sha256']
|
||||||
|
with (folder/'interactions.csv').open('w') as handle:
|
||||||
|
writer = csv.DictWriter(handle, fieldnames=fields, lineterminator="\n")
|
||||||
|
writer.writeheader()
|
||||||
|
for row in rows:
|
||||||
|
flat = {**row, **row.get('cost', {}), 'cost_status': row.get('cost', {}).get('status')}
|
||||||
|
writer.writerow({f: flat.get(f) for f in fields})
|
||||||
|
summaries = []
|
||||||
|
for model in MODELS:
|
||||||
|
selected = [r for r in rows if r['model'] == model]
|
||||||
|
known = [r for r in selected if r.get('cost', {}).get('total_usd') is not None]
|
||||||
|
unknown = len(selected)-len(known)
|
||||||
|
values = [D(r['cost']['total_usd']) for r in known]
|
||||||
|
def total(key):
|
||||||
|
return sum(D(r['cost'][key]) for r in known)
|
||||||
|
summaries.append({'model': model, 'interactions': len(selected), 'http_200': sum(r.get('http') == 200 for r in selected),
|
||||||
|
'websearch_confirmed': sum(r.get('websearch_confirmed', False) for r in selected),
|
||||||
|
'cost_known_interactions': len(known), 'cost_unknown_interactions': unknown,
|
||||||
|
'total_usd_known': str(sum(values)),
|
||||||
|
'mean_usd_known': str(sum(values)/len(values)) if values else None,
|
||||||
|
'median_usd_known': str(statistics.median(values)) if values else None,
|
||||||
|
'p95_usd_known': str(sorted(values)[math.ceil(.95*len(values))-1]) if values else None,
|
||||||
|
'web_search_usd': str(total('web_search_usd')),
|
||||||
|
'input_tokens': int(total('input_tokens')), 'cached_input_tokens': int(total('cached_input_tokens')),
|
||||||
|
'output_tokens': int(total('output_tokens')), 'web_search_calls': int(total('web_search_calls')),
|
||||||
|
'median_seconds': statistics.median(r['seconds'] for r in selected) if selected else None})
|
||||||
|
paired = {}
|
||||||
|
for row in rows:
|
||||||
|
paired.setdefault(row['intent_id'], []).append(row)
|
||||||
|
complete_pairs = [pair for pair in paired.values() if len(pair) == 2]
|
||||||
|
assert all(pair[0]['shared_payload_sha256'] == pair[1]['shared_payload_sha256'] for pair in complete_pairs)
|
||||||
|
report = {'generated_at': datetime.now(timezone.utc).isoformat(), 'models': summaries,
|
||||||
|
'completed_interactions': len(rows), 'expected_interactions': 200,
|
||||||
|
'paired_intents': len(complete_pairs),
|
||||||
|
'estimated_reserve_for_unknown_usd': str(sum(reservation for r in rows if r.get('cost', {}).get('total_usd') is None)),
|
||||||
|
'billing_note': 'Custo calculado do uso medido a preços de lista Oracle; não é fatura OCI. Sem impostos, descontos contratuais, VM, rede e armazenamento.'}
|
||||||
|
(folder/'summary.json').write_text(json.dumps(report, ensure_ascii=False, indent=2)+'\n')
|
||||||
|
return report
|
||||||
|
|
||||||
|
def main():
|
||||||
|
parser = argparse.ArgumentParser()
|
||||||
|
parser.add_argument('--execute', action='store_true')
|
||||||
|
parser.add_argument('--budget-usd', type=Decimal)
|
||||||
|
parser.add_argument('--run-id', default='comparison-2026-10-15')
|
||||||
|
parser.add_argument('--pair-limit', type=int, default=100, help='Piloto retoma no mesmo run-id, sem repetir chamadas')
|
||||||
|
args = parser.parse_args()
|
||||||
|
assert 1 <= args.pair_limit <= 100
|
||||||
|
assert args.run_id and all(c.isalnum() or c in '-_' for c in args.run_id)
|
||||||
|
dataset = load_dataset()
|
||||||
|
prices = json.loads((ROOT/'oracle-prices.json').read_text())
|
||||||
|
print(f'100 intenções; {len(MODELS)} modelos; 200 interações; concorrência 2; sem retries.', flush=True)
|
||||||
|
if not args.execute:
|
||||||
|
print('Dry run: nenhuma chamada feita. Para executar, definir --execute --budget-usd LIMITE.')
|
||||||
|
return
|
||||||
|
assert args.budget_usd and args.budget_usd > 0, 'É necessário orçamento explícito'
|
||||||
|
base = os.environ['OCI_BASE_URL'].rstrip('/')
|
||||||
|
assert base == 'https://inference.generativeai.us-chicago-1.oci.oraclecloud.com/v1'
|
||||||
|
headers = {'Authorization': 'Bearer '+os.environ['OCI_API_KEY'], 'OpenAI-Project': os.environ['OCI_PROJECT_ID']}
|
||||||
|
folder = ROOT/'runs'/args.run_id
|
||||||
|
folder.mkdir(parents=True, exist_ok=True)
|
||||||
|
lockfile = (folder/'run.lock').open('w')
|
||||||
|
fcntl.flock(lockfile, fcntl.LOCK_EX | fcntl.LOCK_NB)
|
||||||
|
raw_folder = folder/'raw'
|
||||||
|
raw_folder.mkdir(exist_ok=True)
|
||||||
|
manifest = {'dataset_sha256': digest(dataset), 'prices_sha256': digest(prices),
|
||||||
|
'system_sha256': hashlib.sha256(SYSTEM.encode()).hexdigest(), 'models': MODELS,
|
||||||
|
'reference_date': dataset['reference_date'], 'region': 'us-chicago-1',
|
||||||
|
'concurrency': 2, 'max_output_tokens': 2400, 'retries': 0, 'transport_timeout_seconds': 150}
|
||||||
|
manifest_file = folder/'manifest.json'
|
||||||
|
if manifest_file.exists():
|
||||||
|
assert json.loads(manifest_file.read_text()) == manifest, 'Manifesto alterado; use outro run-id'
|
||||||
|
else:
|
||||||
|
manifest_file.write_text(json.dumps(manifest, ensure_ascii=False, indent=2)+'\n')
|
||||||
|
ledger = folder/'events.jsonl'
|
||||||
|
events = [json.loads(line) for line in ledger.read_text().splitlines()] if ledger.exists() else []
|
||||||
|
rows = [e['result'] for e in events if e['event'] == 'finished']
|
||||||
|
started = {(e['intent_id'],e['model']) for e in events if e['event'] == 'started'}
|
||||||
|
finished = {(r['intent_id'],r['model']) for r in rows}
|
||||||
|
assert started == finished, 'Há chamadas interrompidas sem resultado; revisar cobrança antes de continuar'
|
||||||
|
assert len(finished) == len(rows), 'Interações duplicadas no registro'
|
||||||
|
reservation = D('.25')
|
||||||
|
def committed():
|
||||||
|
return sum(D(r['cost']['total_usd']) if r.get('cost', {}).get('total_usd') is not None else reservation for r in rows)
|
||||||
|
# Um piloto de cada categoria; depois alternância de categorias ao longo do lote.
|
||||||
|
order = [i+25*c for i in range(25) for c in range(4)]
|
||||||
|
with ThreadPoolExecutor(max_workers=2) as pool:
|
||||||
|
for index in order[:args.pair_limit]:
|
||||||
|
intent = dataset['intents'][index]
|
||||||
|
pending = [m for m in MODELS if (intent['id'],m) not in finished]
|
||||||
|
if not pending:
|
||||||
|
continue
|
||||||
|
if committed()+reservation*len(pending) > args.budget_usd:
|
||||||
|
print('STOP orçamento: sem saldo para reservar o próximo par.', flush=True)
|
||||||
|
break
|
||||||
|
jobs=[]
|
||||||
|
for model in pending:
|
||||||
|
append_event(ledger, {'event': 'started', 'intent_id': intent['id'], 'model': model,
|
||||||
|
'at': datetime.now(timezone.utc).isoformat(), 'reserved_usd': str(reservation)})
|
||||||
|
jobs.append(pool.submit(invoke, model, intent, base, headers, prices, raw_folder))
|
||||||
|
stop = False
|
||||||
|
for job in jobs:
|
||||||
|
result = job.result()
|
||||||
|
append_event(ledger, {'event':'finished','result':result})
|
||||||
|
rows.append(result)
|
||||||
|
finished.add((result['intent_id'],result['model']))
|
||||||
|
print(f"{len(rows)}/200 {result['intent_id']} {result['model']} HTTP={result.get('http')} busca={result.get('websearch_confirmed')} USD={result.get('cost',{}).get('total_usd','unknown')}", flush=True)
|
||||||
|
# Falha exige diagnóstico; timeout não será repetido e custo não vira zero.
|
||||||
|
stop |= result.get('http') != 200 or result.get('cost',{}).get('total_usd') is None
|
||||||
|
export_results(folder, rows, reservation)
|
||||||
|
if stop:
|
||||||
|
print('STOP diagnóstico necessário; nenhuma nova interação será enviada.', flush=True)
|
||||||
|
break
|
||||||
|
report = export_results(folder, rows, reservation)
|
||||||
|
print(json.dumps(report, ensure_ascii=False, indent=2), flush=True)
|
||||||
|
|
||||||
|
if __name__ == '__main__':
|
||||||
|
main()
|
||||||
36
benchmarks/screening/ADENDO-CONTABILIDADE.md
Normal file
36
benchmarks/screening/ADENDO-CONTABILIDADE.md
Normal file
@@ -0,0 +1,36 @@
|
|||||||
|
# Adendo de contabilidade — resolução sem nova inferência
|
||||||
|
|
||||||
|
Durante a coleta, a interação `I075` com `xai.grok-4.7` retornou HTTP 200 e resposta final com fontes e citações. A classificação financeira inicial foi conservadoramente marcada como desconhecida porque o uso agregado ultrapassou 200 mil tokens de entrada. O coletor concluiu o grupo e parou, como previsto no protocolo.
|
||||||
|
|
||||||
|
## Memória de cálculo
|
||||||
|
|
||||||
|
Uso da mesma resposta original, preservada sem repetir a chamada:
|
||||||
|
|
||||||
|
- Entrada agregada: **249.047 tokens**, dos quais **193.408 em cache**.
|
||||||
|
- Saída agregada: **6.231 tokens**, dos quais **5.191 de raciocínio**.
|
||||||
|
- Websearch tarifado: **15 chamadas**.
|
||||||
|
- Campo nativo transportado na resposta OCI: `cost_in_usd_ticks = 5657360000`.
|
||||||
|
- `context_details.input_tokens = 56428` não é o mesmo contador que a entrada total do loop. Não foi usado em substituição ao total para precificação.
|
||||||
|
|
||||||
|
A [documentação oficial do campo de custo](https://docs.x.ai/developers/cost-tracking) define 10.000.000.000 ticks por USD. Ela foi consultada apenas como documentação; **nenhuma chamada de inferência foi enviada à API direta da xAI**.
|
||||||
|
|
||||||
|
Os SKUs Oracle de contexto longo para Grok 4.7, congelados antes do teste, são US$ 4 de entrada, US$ 1 de cache e US$ 12 de saída por milhão de tokens; a busca custa US$ 5 por mil chamadas.
|
||||||
|
|
||||||
|
```text
|
||||||
|
Entrada sem cache: (249047 - 193408) × 4 / 1.000.000 = USD 0,222556
|
||||||
|
Cache: 193408 × 1 / 1.000.000 = USD 0,193408
|
||||||
|
Saída: 6231 × 12 / 1.000.000 = USD 0,074772
|
||||||
|
Websearch: 15 × 5 / 1.000 = USD 0,075000
|
||||||
|
Total calculado pelos SKUs Oracle = USD 0,565736
|
||||||
|
Custo nativo: 5657360000 / 10.000.000.000 = USD 0,565736
|
||||||
|
```
|
||||||
|
|
||||||
|
A fórmula de contexto curto resultaria em USD 0,320368 e não coincide com o valor nativo. Assim, a faixa longa foi identificada de maneira única por conciliação aritmética dos SKUs Oracle com a mesma resposta. Isso não constitui conciliação com a fatura da conta OCI.
|
||||||
|
|
||||||
|
## Tratamento neutro e rastreável
|
||||||
|
|
||||||
|
O evento inicial com custo desconhecido permanece no registro. Um evento adicional `cost_reconciled` resolve a faixa e a confiabilidade financeira da **mesma execução**, preservando os contadores e o hash do payload. Os pesos, o corte, a amostra e os critérios de busca não foram alterados. Não se penaliza o modelo pela limitação do classificador de custos quando a cobrança pode ser determinada.
|
||||||
|
|
||||||
|
A partir desse diagnóstico, qualquer interação com uso agregado acima de 200 mil tokens terá a faixa resolvida somente se uma das fórmulas de preço congeladas coincidir exatamente com o campo nativo. Se não houver correspondência única, continuará com custo desconhecido e exigirá diagnóstico.
|
||||||
|
|
||||||
|
Também foi observado que o parâmetro `max_output_tokens=2400` não impediu que o `usage` agregado da execução com ferramentas reportasse mais de 2400 tokens de saída. O valor configurado permanece igual nos modelos. A medição e a cobrança usam o uso total retornado, não um teto teórico de tokens por interação. Não houve truncamento indicado nessa resposta.
|
||||||
24
benchmarks/screening/ADENDO-TAXA.md
Normal file
24
benchmarks/screening/ADENDO-TAXA.md
Normal file
@@ -0,0 +1,24 @@
|
|||||||
|
# Adendo operacional — rejeições por limite compartilhado de tokens
|
||||||
|
|
||||||
|
Após seis intenções completas (42 respostas com uso), os sete identificadores receberam HTTP 429 no envio da intenção `I056`. O erro reportou consumo de 634.873 tokens diante de uma quota compartilhada de 600.000 tokens por minuto. Os identificadores de credenciais retornados no erro permanecem apenas nos arquivos privados e não são publicados.
|
||||||
|
|
||||||
|
## Recuperação limitada e igual para os sete IDs
|
||||||
|
|
||||||
|
As rejeições não retornaram resposta do modelo nem contadores de uso. Não são usadas como nota de qualidade ou de busca de um modelo. Para completar a mesma amostra de 12 respostas em cada ID:
|
||||||
|
|
||||||
|
- preservar cada tentativa 429 e seu corpo bruto em arquivo privado separado;
|
||||||
|
- registrar eventos `infrastructure_rejected`, sem apagar ou sobrescrever as tentativas no ledger;
|
||||||
|
- após a janela de taxa, repetir **uma vez** o grupo rejeitado, nos mesmos sete IDs e com o mesmo payload;
|
||||||
|
- não reexecutar nem escolher entre respostas já concluídas; inclusive os casos caros de contexto longo permanecem na amostra;
|
||||||
|
- inserir pausa de 75 segundos antes dos grupos restantes, mantendo concorrência 2 e rotação da ordem dos IDs;
|
||||||
|
- se houver outra rejeição, interromper novamente para diagnóstico; não há loop automático de retries.
|
||||||
|
|
||||||
|
A pausa não entra na latência individual: o cronômetro mede a requisição. O ritmo de envio mudou durante a coleta e isso é uma limitação operacional declarada; os sete IDs de cada intenção seguem a mesma política de execução e a comparação de tempo é relativa ao mesmo caso.
|
||||||
|
|
||||||
|
## Transparência de amostra e custo
|
||||||
|
|
||||||
|
A matriz avaliável continua com 12 respostas por ID, totalizando 84 inferências concluídas. Com a recuperação, há sete tentativas HTTP adicionais rejeitadas por infraestrutura, registradas separadamente. Portanto, não será declarado que foram feitos somente 84 POSTs HTTP.
|
||||||
|
|
||||||
|
Os sete erros não serão contabilizados como custo zero: não há `usage` para precificá-los. Eles ficam fora das médias da matriz de respostas com custo conhecido e mantêm uma reserva conservadora de US$ 0,50 por tentativa no controle interno do orçamento acumulado. O relatório financeiro continuará identificado como custo conhecido calculado a preço de lista, sem conciliação com fatura.
|
||||||
|
|
||||||
|
O protocolo primário continua preservado. Pesos, corte, gates para as 12 respostas de cada ID, amostra e preços não foram alterados. Este adendo documenta uma recuperação manual de falha compartilhada de infraestrutura e o controle de taxa necessário para completar a amostra, em vez de transformar a falta de resposta em uma penalização artificial de todos os candidatos.
|
||||||
65
benchmarks/screening/PROTOCOLO.md
Normal file
65
benchmarks/screening/PROTOCOLO.md
Normal file
@@ -0,0 +1,65 @@
|
|||||||
|
# Pré-teste retrospectivo de seleção — protocolo v1
|
||||||
|
|
||||||
|
## Objetivo e limites
|
||||||
|
|
||||||
|
Auditar a escolha original dos candidatos Grok 4.3 e 4.20 non-reasoning com uma amostra comparável dos sete identificadores. Este teste foi planejado depois do lote de 100 intenções; não é uma validação prospectiva nem torna a seleção original um processo baseado em corte prévio. Seus resultados podem confirmar ou contestar a escolha original.
|
||||||
|
|
||||||
|
## Amostra e execução
|
||||||
|
|
||||||
|
- Doze prompts do dataset original, três por tema. São 84 novas interações: 12 por identificador, incluindo os nomes com e sem `0309`.
|
||||||
|
- Seleção determinística: ordenar, em cada tema, `SHA256(seed|category|id|prompt_sha256)` e escolher os três primeiros. Seed: `grok-retrospective-screening-v1`. A seleção usa apenas os prompts e seus metadados, sem métricas de resultados na função de amostragem. O caráter retrospectivo e o acesso prévio aos resultados originais permanecem declarados.
|
||||||
|
- [Dataset congelado](intents-12.json), com os mesmos prompts e data de referência do lote original, 15/10/2026. A cada intenção todos os IDs recebem o mesmo payload, diferindo somente `model`.
|
||||||
|
- OCI Chicago `/v1/responses`, `store:false`, ferramenta nativa web_search, máximo de 2400 tokens de saída e instrução de até 200 palavras. Defaults de raciocínio e amostragem do serviço, como no lote original. Essa configuração avalia a mesma restrição operacional da POC, não a melhor configuração possível de cada modelo.
|
||||||
|
- Concorrência 2. Ordem dos sete IDs rotacionada por intenção. Um piloto com a primeira intenção (sete chamadas) integra as 84 finais e não será repetido. Sem retries.
|
||||||
|
- Registrar custo de entrada sem cache, cache, saída (raciocínio incluído), buscas, uso bruto, HTTP, truncamento, latência e hashes. Contadores ausentes ou transporte falho não serão tratados como custo zero. Erros de HTTP ou custo desconhecido interrompem novos grupos para diagnóstico.
|
||||||
|
|
||||||
|
## Regras de pontuação definidas antes das novas inferências
|
||||||
|
|
||||||
|
Os [pesos e gates](scoring-rules.json) são congelados no manifesto antes de executar a primeira chamada. Cada tema pesa 25%; as três intenções dentro do tema têm pesos iguais.
|
||||||
|
|
||||||
|
Para cada intenção e identificador:
|
||||||
|
|
||||||
|
```text
|
||||||
|
R = 1 se a busca é confiável, 0 caso contrário
|
||||||
|
C = menor custo observado entre respostas confiáveis da intenção / custo do ID
|
||||||
|
L = menor latência entre respostas confiáveis da intenção / latência do ID
|
||||||
|
|
||||||
|
Se R = 0: C = 0 e L = 0
|
||||||
|
Nota por intenção = 100 × (0,50 × C + 0,30 × R + 0,20 × L)
|
||||||
|
Nota por tema = média das três intenções
|
||||||
|
Nota do ID = soma de 25% × nota de cada tema
|
||||||
|
```
|
||||||
|
|
||||||
|
Uma busca confiável, para este teste, exige HTTP 200, custo conhecido, busca `search completed` com fontes e citações, texto final não vazio e ausência de sinal de truncamento. Isso é **confiabilidade operacional**, não uma nota de veracidade factual. Uma resposta curta e barata que falha nesses critérios não recebe vantagem de custo ou tempo.
|
||||||
|
|
||||||
|
Corte: **nota >= 70/100**, **12 custos conhecidos** e **pelo menos 11 buscas confiáveis em 12 chamadas**. A nota é relativa aos sete IDs e a esta amostra; 70 não é um padrão universal de qualidade. Não serão forçados dois aprovados caso os critérios não sejam atendidos.
|
||||||
|
|
||||||
|
## Aliases e duas vagas
|
||||||
|
|
||||||
|
Os resultados dos sete IDs são apresentados individualmente. Para as vagas, agrupar os dois nomes non-reasoning de 4.20 e os dois nomes reasoning de 4.20 conforme a versão apontada pela documentação. A nota de cada configuração é a média das notas de seus IDs; cada ID do grupo precisa cumprir os gates de custo e confiabilidade. O corte de 70 aplica-se à nota agrupada. Classificar as configurações aprovadas por nota e indicar as duas primeiras.
|
||||||
|
|
||||||
|
Assim, aliases da mesma versão não ocupam duas vagas, e não se escolhe a execução de alias que teve a nota mais conveniente. Os grupos com dois IDs têm 24 chamadas registradas, contra 12 dos demais; essa repetição é informada e não equivale a 24 intenções diferentes. As 12 intenções têm o mesmo peso em todos os grupos.
|
||||||
|
|
||||||
|
Desempate: menor custo médio por interação, menor mediana de latência, nome da configuração em ordem alfabética.
|
||||||
|
|
||||||
|
## Variabilidade e conclusão
|
||||||
|
|
||||||
|
Bootstrap estratificado e pareado de 2000 reamostragens, seed 20261015: sortear três casos com reposição dentro de cada tema e usar os mesmos índices em todos os modelos. Os gates de elegibilidade permanecem os da amostra original. Informar a faixa descritiva de 95% das notas e frequência nas duas primeiras vagas. Isso descreve sensibilidade à escolha dos casos; não é intervalo populacional, não mede a variação entre repetições da mesma pergunta e não corrige retrospectivamente o viés da seleção original.
|
||||||
|
|
||||||
|
Se os candidatos indicados diferirem dos dois originais, registrar a divergência e recomendar o mesmo lote completo para os novos candidatos. Este pré-teste não autoriza inferir como esses candidatos responderiam às 100 intenções; uma nova execução ampliada seria uma etapa distinta.
|
||||||
|
|
||||||
|
## Contabilidade e reprodução
|
||||||
|
|
||||||
|
Preços em [oracle-prices.json](oracle-prices.json), com SKUs de todas as famílias testadas. Cálculo por uso medido a preço de lista, incluindo US$ 5/1000 chamadas de websearch; cache e raciocínio não são contados duas vezes. Não é fatura conciliada, e impostos, descontos ou infraestrutura ficam fora.
|
||||||
|
|
||||||
|
Os novos gastos são controlados junto ao histórico do experimento, respeitando o limite acumulado autorizado. Orçamento é parâmetro operacional, não parte da nota. Respostas brutas e registros de autorização permanecem locais e fora do Git.
|
||||||
|
|
||||||
|
Na raiz do repositório:
|
||||||
|
|
||||||
|
```bash
|
||||||
|
python benchmarks/screening/run_screening.py
|
||||||
|
# Após carregar .env e conferir o limite acumulado autorizado:
|
||||||
|
python benchmarks/screening/run_screening.py --execute --budget-total-usd LIMITE --intent-limit 1
|
||||||
|
# Retomar sem repetir o piloto:
|
||||||
|
python benchmarks/screening/run_screening.py --execute --budget-total-usd LIMITE
|
||||||
|
```
|
||||||
89
benchmarks/screening/README.md
Normal file
89
benchmarks/screening/README.md
Normal file
@@ -0,0 +1,89 @@
|
|||||||
|
# 1º turno — seleção dos finalistas Grok via OCI
|
||||||
|
|
||||||
|
## Sumário executivo
|
||||||
|
|
||||||
|
**Classificados para a comparação do 2º turno: Grok 4.3 e Grok 4.20 non-reasoning**, com notas de **97,15** e **73,39**. O 1º turno compara os sete identificadores sob as mesmas regras e reserva as duas vagas para as configurações aprovadas com maior pontuação. O [2º turno](../README.md) apresenta a comparação das 100 intenções entre os finalistas.
|
||||||
|
|
||||||
|
Foram avaliadas **12 novas respostas por identificador**, com as mesmas perguntas e três casos de cada tema: culinária, esportes, clima e entretenimento. As 84 respostas exigiram 91 tentativas HTTP: 7 rejeições de quota compartilhada foram recuperadas uma vez, com preservação das evidências. O custo dessas rejeições sem `usage` permanece desconhecido.
|
||||||
|
|
||||||
|
**Custo conhecido desta etapa: US$ 9,458169**, com tokens e websearch incluídos. **Acumulado conhecido do projeto: US$ 20,963443 em 294 respostas**, frente ao teto autorizado de US$ 50. Valores calculados a preço de lista Oracle; não são conciliação de fatura.
|
||||||
|
|
||||||
|
## Regras do 1º turno — corte e duas vagas
|
||||||
|
|
||||||
|
Os critérios foram congelados antes das novas inferências: **50% eficiência de custo total, 30% confiabilidade operacional da busca e 20% eficiência de latência**. Cada tema pesa 25%, com três casos igualmente ponderados. Para cada pergunta, eficiência é a razão entre o melhor custo/tempo confiável e o custo/tempo do identificador. Falhas operacionais recebem zero em todos os componentes.
|
||||||
|
|
||||||
|
O corte é **70/100**, com **12 custos conhecidos e ao menos 11 buscas confiáveis por ID**. Busca confiável exige HTTP 200, busca concluída com fontes e citações, texto final e ausência de truncamento; **não mede correção factual**. Os sete IDs foram testados, mas representam cinco configurações: aliases com e sem `0309` têm suas notas promediadas e não ocupam duas vagas.
|
||||||
|
|
||||||
|
## Apuração dos sete identificadores
|
||||||
|
|
||||||
|
| ID OCI | Nota /100 | Busca confiável | Passa corte | Tokens/interação | Buscas/interação | USD/interação | Mediana s |
|
||||||
|
|---|---|---|---|---|---|---|---|
|
||||||
|
| `xai.grok-4.3` | 97,15 | 12/12 | sim | 22.087,92 | 3,25 | 0,042403 | 11,37 |
|
||||||
|
| `xai.grok-4.20-0309-non-reasoning` | 74,01 | 12/12 | sim | 49.058,42 | 6,75 | 0,072876 | 12,64 |
|
||||||
|
| `xai.grok-4.20-non-reasoning` | 72,76 | 12/12 | sim | 50.843,83 | 6,58 | 0,075544 | 12,38 |
|
||||||
|
| `xai.grok-4.20-reasoning` | 72,24 | 12/12 | sim | 37.148,58 | 4,67 | 0,060809 | 29,15 |
|
||||||
|
| `xai.grok-4.20-0309-reasoning` | 67,93 | 12/12 | não | 43.295,25 | 5,00 | 0,066099 | 33,05 |
|
||||||
|
| `xai.grok-4.6` | 45,51 | 12/12 | não | 84.555,58 | 8,00 | 0,167256 | 65,83 |
|
||||||
|
| `xai.grok-4.7` | 43,34 | 12/12 | não | 154.035,50 | 10,58 | 0,303195 | 50,16 |
|
||||||
|
|
||||||
|
## Seleção por configuração
|
||||||
|
|
||||||
|
| Configuração | Nota /100 | Passa corte | Selecionada | Frequência top 2 no bootstrap |
|
||||||
|
|---|---|---|---|---|
|
||||||
|
| `grok-4.3` | 97,15 | sim | sim | 100,0% |
|
||||||
|
| `grok-4.20-non-reasoning` | 73,39 | sim | sim | 99,8% |
|
||||||
|
| `grok-4.20-reasoning` | 70,08 | sim | não | 0,0% |
|
||||||
|
| `grok-4.6` | 45,51 | não | não | 0,0% |
|
||||||
|
| `grok-4.7` | 43,34 | não | não | 0,0% |
|
||||||
|
|
||||||
|
A configuração 4.20 reasoning também superou o corte agrupado (70,08), mas ficou em terceiro. Seu custo médio agrupado foi menor que o do non-reasoning, porém a maior latência reduziu sua nota com os pesos definidos. O corte de 70 é aplicado à média da configuração; cada alias precisa atender aos gates de custo conhecido e confiabilidade, não a um corte individual adicional.
|
||||||
|
|
||||||
|
A frequência no bootstrap descreve a sensibilidade a 2.000 reamostragens pareadas dos casos, estratificadas por tema. Não é probabilidade de superioridade nem intervalo de confiança populacional. Os grupos com aliases têm duas execuções de cada pergunta; continuam tendo somente 12 intenções distintas.
|
||||||
|
|
||||||
|
## Consumo e resultado financeiro
|
||||||
|
|
||||||
|
| Indicador | Total nas 84 respostas | Média/interação |
|
||||||
|
|---|---|---|
|
||||||
|
| Tokens de entrada, cache incluído | 5.097.015 | 60.678,75 |
|
||||||
|
| Tokens de cache, subconjunto da entrada | 2.469.760 | 29.401,90 |
|
||||||
|
| Tokens de saída, raciocínio incluído | 195.286 | 2.324,83 |
|
||||||
|
| Tokens de raciocínio, subconjunto da saída | 132.001 | 1.571,44 |
|
||||||
|
| **Total de tokens: entrada + saída** | **5.292.301** | **63.003,58** |
|
||||||
|
| Chamadas tarifadas de websearch | 538 | 6,40 |
|
||||||
|
|
||||||
|
| Componente | Total USD | USD/interação |
|
||||||
|
|---|---|---|
|
||||||
|
| Entrada sem cache | 4,575965 | 0,054476 |
|
||||||
|
| Entrada em cache | 1,239002 | 0,014750 |
|
||||||
|
| Saída | 0,953202 | 0,011348 |
|
||||||
|
| Websearch | 2,690000 | 0,032024 |
|
||||||
|
| Total | 9,458169 | 0,112597 |
|
||||||
|
|
||||||
|
Preços e SKUs estão em [oracle-prices.json](oracle-prices.json), incluindo as faixas curta e longa. Websearch custa US$ 5 por 1.000 chamadas. Cache e raciocínio não são somados novamente aos tokens totais. O acumulado de todas as etapas e sete IDs consta no [consolidado de 294 respostas](financial-consolidation.json); o [baseline anterior de 210](../financial-consolidation.json) foi preservado.
|
||||||
|
|
||||||
|
## Nota sobre a ordem de apresentação
|
||||||
|
|
||||||
|
“1º turno” identifica a etapa lógica de seleção. Na cronologia real, esta amostra foi executada depois do lote completo, como auditoria retrospectiva, e confirmou a dupla escolhida inicialmente por heurística. A apresentação em turnos não implica que essa apuração tenha causado a escolha original.
|
||||||
|
|
||||||
|
## Metodologia, exceções e limites
|
||||||
|
|
||||||
|
- Amostra determinística por hash dos prompts, sem usar métricas financeiras na função de seleção. Os 12 casos saem do dataset anterior de 100; não são holdout. Os dois candidatos originais já haviam recebido essas perguntas.
|
||||||
|
- Mesmo payload por pergunta, alterando somente o modelo; OCI Chicago Responses, ferramenta nativa `web_search`, sem API de inferência direta xAI. Ordem rotacionada e concorrência 2.
|
||||||
|
- Critérios, prompts e preços registrados antes das chamadas no [protocolo](PROTOCOLO.md) e no manifesto publicado no resumo. O piloto integra as 84 respostas.
|
||||||
|
- A aplicação do preço longo foi conciliada contra o contador monetário nativo, com correspondência única ao cálculo por SKUs Oracle; ver [adendo contábil](ADENDO-CONTABILIDADE.md). Nenhuma resposta cara foi descartada ou repetida.
|
||||||
|
- Sete HTTP 429 foram rejeições de quota compartilhada. A recuperação única e a inclusão de pausas entre grupos estão no [adendo operacional](ADENDO-TAXA.md). O tempo da pausa não integra a latência da requisição; a mudança de ritmo limita a comparação.
|
||||||
|
- `max_output_tokens=2400` é um parâmetro comum; o uso agregado de saída do ciclo de ferramentas superou esse valor em algumas respostas. A cobrança usa o `usage` integral.
|
||||||
|
- O estado de cache não foi controlado. Há uma [sensibilidade contábil sem desconto de cache](SENSIBILIDADES.md), exploratória e posterior ao início da coleta, sem alterar a seleção primária nem simular uma execução física sem cache.
|
||||||
|
|
||||||
|
Nesse cenário secundário, apenas `grok-4.3` supera o corte. A segunda vaga depende do desconto de cache observado e não se mantém nessa hipótese contábil; isso restringe a robustez da confirmação da dupla.
|
||||||
|
|
||||||
|
## Passagem ao 2º turno
|
||||||
|
|
||||||
|
O corte ponderado classifica Grok 4.3 e Grok 4.20 non-reasoning para as duas vagas. O [2º turno](../README.md) compara o custo de 100 intenções iguais por finalista e aponta economia de 43,38% com Grok 4.3. A nota do 1º turno justifica a classificação; o lote completo sustenta a comparação financeira da dupla. Não se pode extrapolar o desempenho dos demais modelos para 100 intenções nem afirmar qualidade factual equivalente.
|
||||||
|
|
||||||
|
## Evidências e reprodução
|
||||||
|
|
||||||
|
- [Relatório detalhado](results/screening-2026-10-15-v1/REPORT.md), [resumo estruturado](results/screening-2026-10-15-v1/summary.json), [CSV das 84 respostas](results/screening-2026-10-15-v1/interactions.csv) e [hashes](results/screening-2026-10-15-v1/sha256.json).
|
||||||
|
- [12 prompts](intents-12.json), [regras congeladas](scoring-rules.json), [baseline do estudo](study.json), [preços](oracle-prices.json) e [consolidado financeiro](financial-consolidation.json).
|
||||||
|
|
||||||
|
Na raiz do projeto, a validação sem inferência é `python benchmarks/screening/run_screening.py`. Os relatórios são regenerados a partir dos registros privados locais com `python benchmarks/screening/report_screening.py` e `python benchmarks/screening/consolidate_financial.py`. Execução paga exige flags explícitas e orçamento; credenciais, respostas brutas e ledger operacional não são publicados.
|
||||||
15
benchmarks/screening/SENSIBILIDADES.md
Normal file
15
benchmarks/screening/SENSIBILIDADES.md
Normal file
@@ -0,0 +1,15 @@
|
|||||||
|
# Sensibilidade complementar — cache
|
||||||
|
|
||||||
|
A nota de corte principal permanece a definida em `scoring-rules.json`, congelada antes das novas chamadas. Esta análise secundária não altera a seleção principal.
|
||||||
|
|
||||||
|
Como a amostra é retirada de um conjunto já usado pelos dois candidatos originais, ela não é holdout. O estado de cache da API gerenciada não foi controlado. Por isso será calculado também um cenário contábil sem desconto de cache:
|
||||||
|
|
||||||
|
```text
|
||||||
|
custo hipotético = input_tokens × tarifa de entrada sem cache / 1.000.000
|
||||||
|
+ output_tokens × tarifa de saída / 1.000.000
|
||||||
|
+ web_search_calls × tarifa de busca / 1.000
|
||||||
|
```
|
||||||
|
|
||||||
|
Reaplicar a mesma regra de pontuação aos mesmos 84 registros, mudando apenas essa precificação hipotética da entrada. As latências e os tokens continuam sendo os observados, e não há nova inferência. Isso testa sensibilidade ao desconto financeiro de cache; não simula uma execução fisicamente sem cache nem remove seus efeitos sobre tempo de resposta.
|
||||||
|
|
||||||
|
A análise foi especificada durante a coleta e será identificada como secundária e exploratória. A classificação primária usa o custo efetivamente calculado do uso medido a preço de lista, com cache.
|
||||||
50
benchmarks/screening/consolidate_financial.py
Normal file
50
benchmarks/screening/consolidate_financial.py
Normal file
@@ -0,0 +1,50 @@
|
|||||||
|
"""Consolidar histórico original + auditoria, sem inferência e sem dupla contagem."""
|
||||||
|
from pathlib import Path
|
||||||
|
from decimal import Decimal
|
||||||
|
import hashlib
|
||||||
|
import json
|
||||||
|
|
||||||
|
ROOT=Path(__file__).resolve().parent
|
||||||
|
D=lambda value:Decimal(str(value))
|
||||||
|
INTS=['interactions','input_tokens','cached_input_tokens','output_tokens','reasoning_tokens','total_tokens','web_search_calls']
|
||||||
|
MONEY=['input_usd','cached_input_usd','output_usd','web_search_usd','total_usd']
|
||||||
|
|
||||||
|
def aggregate(values):
|
||||||
|
row={key:int(sum(D(v[key]) for v in values)) for key in INTS}
|
||||||
|
row.update({key:str(sum(D(v[key]) for v in values)) for key in MONEY})
|
||||||
|
row['mean_usd']=str(D(row['total_usd'])/row['interactions'])
|
||||||
|
return row
|
||||||
|
|
||||||
|
def main():
|
||||||
|
baseline_path=ROOT.parent/'financial-consolidation.json'
|
||||||
|
baseline=json.loads(baseline_path.read_text());study=json.loads((ROOT/'study.json').read_text())
|
||||||
|
assert baseline['total']['interactions']==210
|
||||||
|
assert hashlib.sha256(baseline_path.read_bytes()).hexdigest()==study['baseline_financial_sha256']
|
||||||
|
source=ROOT/'results/screening-2026-10-15-v1';rows=json.loads((source/'measured-usage.json').read_text())
|
||||||
|
assert len(rows)==84 and len({(r['model'],r['intent_id']) for r in rows})==84
|
||||||
|
records=[]
|
||||||
|
for row in rows:
|
||||||
|
c=row['cost'];assert c.get('total_usd') is not None
|
||||||
|
record={'model':row['model'],'interactions':1,'total_tokens':c['input_tokens']+c['output_tokens'],
|
||||||
|
**{key:c[key] for key in INTS if key not in ['interactions','total_tokens']},
|
||||||
|
**{key:c[key] for key in MONEY}}
|
||||||
|
assert D(c['total_usd'])==sum(D(c[key]) for key in MONEY if key!='total_usd')
|
||||||
|
records.append(record)
|
||||||
|
summary=json.loads((source/'summary.json').read_text())
|
||||||
|
stage=aggregate(records)
|
||||||
|
total=aggregate([baseline['total'],stage])
|
||||||
|
by_model={model:aggregate([previous]+[r for r in records if r['model']==model]) for model,previous in baseline['by_model'].items()}
|
||||||
|
assert total['interactions']==294
|
||||||
|
for key in INTS+MONEY:assert sum(D(row[key]) for row in by_model.values())==D(total[key])
|
||||||
|
report={'scope':'294 interações com custo conhecido: histórico original de 210 + auditoria retrospectiva de 84. As etapas são diferentes e não formam uma amostra única para ranking.',
|
||||||
|
'valuation_date':'2026-10-15','currency':'USD','pricing_basis':'Uso medido a preços de lista Oracle; não é fatura conciliada. Faixas de contexto longo resolvidas conforme adendo.',
|
||||||
|
'sources':{'baseline':'../financial-consolidation.json','screening':'results/screening-2026-10-15-v1/measured-usage.json','pricing':'oracle-prices.json','accounting_addendum':'ADENDO-CONTABILIDADE.md'},
|
||||||
|
'source_sha256':{'baseline':hashlib.sha256(baseline_path.read_bytes()).hexdigest(),'screening':hashlib.sha256((source/'measured-usage.json').read_bytes()).hexdigest()},
|
||||||
|
'screening_http_attempts':summary['http_attempts'],
|
||||||
|
'screening_infrastructure_rejections_without_usage':summary['unknown_cost_infrastructure_attempts'],
|
||||||
|
'unknown_cost_note':'Rejeições sem usage não foram valoradas como zero; estão fora do total conhecido.',
|
||||||
|
'total':total,'by_stage':{**baseline['by_stage'],'retrospective_screening':stage},'by_model':by_model}
|
||||||
|
(ROOT/'financial-consolidation.json').write_text(json.dumps(report,ensure_ascii=False,indent=2)+'\n')
|
||||||
|
print('Chamadas:',total['interactions'],'Custo acumulado USD:',total['total_usd'])
|
||||||
|
|
||||||
|
if __name__=='__main__':main()
|
||||||
203
benchmarks/screening/financial-consolidation.json
Normal file
203
benchmarks/screening/financial-consolidation.json
Normal file
@@ -0,0 +1,203 @@
|
|||||||
|
{
|
||||||
|
"scope": "294 interações com custo conhecido: histórico original de 210 + auditoria retrospectiva de 84. As etapas são diferentes e não formam uma amostra única para ranking.",
|
||||||
|
"valuation_date": "2026-10-15",
|
||||||
|
"currency": "USD",
|
||||||
|
"pricing_basis": "Uso medido a preços de lista Oracle; não é fatura conciliada. Faixas de contexto longo resolvidas conforme adendo.",
|
||||||
|
"sources": {
|
||||||
|
"baseline": "../financial-consolidation.json",
|
||||||
|
"screening": "results/screening-2026-10-15-v1/measured-usage.json",
|
||||||
|
"pricing": "oracle-prices.json",
|
||||||
|
"accounting_addendum": "ADENDO-CONTABILIDADE.md"
|
||||||
|
},
|
||||||
|
"source_sha256": {
|
||||||
|
"baseline": "f21cc006fbdab19431617c3a277a2a9a7a97a98ba8e8e74dcb3ca5aaff05958f",
|
||||||
|
"screening": "5282c1859b63a1ae18b6162ec9b1c378f4971af8a431edfce16cc223907b18f8"
|
||||||
|
},
|
||||||
|
"screening_http_attempts": 91,
|
||||||
|
"screening_infrastructure_rejections_without_usage": 7,
|
||||||
|
"unknown_cost_note": "Rejeições sem usage não foram valoradas como zero; estão fora do total conhecido.",
|
||||||
|
"total": {
|
||||||
|
"interactions": 294,
|
||||||
|
"input_tokens": 12046625,
|
||||||
|
"cached_input_tokens": 4997248,
|
||||||
|
"output_tokens": 412483,
|
||||||
|
"reasoning_tokens": 208531,
|
||||||
|
"total_tokens": 12459108,
|
||||||
|
"web_search_calls": 1519,
|
||||||
|
"input_usd": "10.11902675",
|
||||||
|
"cached_input_usd": "1.7459200",
|
||||||
|
"output_usd": "1.5034960",
|
||||||
|
"web_search_usd": "7.595",
|
||||||
|
"total_usd": "20.96344275",
|
||||||
|
"mean_usd": "0.07130422704081632653061224490"
|
||||||
|
},
|
||||||
|
"by_stage": {
|
||||||
|
"poc_validation": {
|
||||||
|
"interactions": 3,
|
||||||
|
"input_tokens": 31481,
|
||||||
|
"cached_input_tokens": 12672,
|
||||||
|
"output_tokens": 3348,
|
||||||
|
"reasoning_tokens": 2370,
|
||||||
|
"total_tokens": 34829,
|
||||||
|
"web_search_calls": 9,
|
||||||
|
"input_usd": "0.02351125",
|
||||||
|
"cached_input_usd": "0.0025344",
|
||||||
|
"output_usd": "0.0083700",
|
||||||
|
"web_search_usd": "0.045",
|
||||||
|
"total_usd": "0.07941565",
|
||||||
|
"mean_usd": "0.02647188333333333333333333333"
|
||||||
|
},
|
||||||
|
"compatibility_matrix": {
|
||||||
|
"interactions": 7,
|
||||||
|
"input_tokens": 69948,
|
||||||
|
"cached_input_tokens": 9344,
|
||||||
|
"output_tokens": 6426,
|
||||||
|
"reasoning_tokens": 5158,
|
||||||
|
"total_tokens": 76374,
|
||||||
|
"web_search_calls": 13,
|
||||||
|
"input_usd": "0.0911645",
|
||||||
|
"cached_input_usd": "0.0032896",
|
||||||
|
"output_usd": "0.0233660",
|
||||||
|
"web_search_usd": "0.065",
|
||||||
|
"total_usd": "0.1828201",
|
||||||
|
"mean_usd": "0.02611715714285714285714285714"
|
||||||
|
},
|
||||||
|
"paired_benchmark": {
|
||||||
|
"interactions": 200,
|
||||||
|
"input_tokens": 6848181,
|
||||||
|
"cached_input_tokens": 2505472,
|
||||||
|
"output_tokens": 207423,
|
||||||
|
"reasoning_tokens": 69002,
|
||||||
|
"total_tokens": 7055604,
|
||||||
|
"web_search_calls": 959,
|
||||||
|
"input_usd": "5.42838625",
|
||||||
|
"cached_input_usd": "0.5010944",
|
||||||
|
"output_usd": "0.5185575",
|
||||||
|
"web_search_usd": "4.795",
|
||||||
|
"total_usd": "11.24303815",
|
||||||
|
"mean_usd": "0.05621519075"
|
||||||
|
},
|
||||||
|
"retrospective_screening": {
|
||||||
|
"interactions": 84,
|
||||||
|
"input_tokens": 5097015,
|
||||||
|
"cached_input_tokens": 2469760,
|
||||||
|
"output_tokens": 195286,
|
||||||
|
"reasoning_tokens": 132001,
|
||||||
|
"total_tokens": 5292301,
|
||||||
|
"web_search_calls": 538,
|
||||||
|
"input_usd": "4.57596475",
|
||||||
|
"cached_input_usd": "1.2390016",
|
||||||
|
"output_usd": "0.9532025",
|
||||||
|
"web_search_usd": "2.690",
|
||||||
|
"total_usd": "9.45816885",
|
||||||
|
"mean_usd": "0.1125972482142857142857142857"
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"by_model": {
|
||||||
|
"xai.grok-4.20-0309-non-reasoning": {
|
||||||
|
"interactions": 13,
|
||||||
|
"input_tokens": 586469,
|
||||||
|
"cached_input_tokens": 269312,
|
||||||
|
"output_tokens": 12464,
|
||||||
|
"reasoning_tokens": 0,
|
||||||
|
"total_tokens": 598933,
|
||||||
|
"web_search_calls": 83,
|
||||||
|
"input_usd": "0.39644625",
|
||||||
|
"cached_input_usd": "0.0538624",
|
||||||
|
"output_usd": "0.0311600",
|
||||||
|
"web_search_usd": "0.415",
|
||||||
|
"total_usd": "0.89646865",
|
||||||
|
"mean_usd": "0.06895912692307692307692307692"
|
||||||
|
},
|
||||||
|
"xai.grok-4.20-0309-reasoning": {
|
||||||
|
"interactions": 13,
|
||||||
|
"input_tokens": 493766,
|
||||||
|
"cached_input_tokens": 188928,
|
||||||
|
"output_tokens": 34980,
|
||||||
|
"reasoning_tokens": 25922,
|
||||||
|
"total_tokens": 528746,
|
||||||
|
"web_search_calls": 61,
|
||||||
|
"input_usd": "0.38104750",
|
||||||
|
"cached_input_usd": "0.0377856",
|
||||||
|
"output_usd": "0.0874500",
|
||||||
|
"web_search_usd": "0.305",
|
||||||
|
"total_usd": "0.81128310",
|
||||||
|
"mean_usd": "0.06240639230769230769230769231"
|
||||||
|
},
|
||||||
|
"xai.grok-4.20-non-reasoning": {
|
||||||
|
"interactions": 113,
|
||||||
|
"input_tokens": 5425184,
|
||||||
|
"cached_input_tokens": 2451328,
|
||||||
|
"output_tokens": 104333,
|
||||||
|
"reasoning_tokens": 0,
|
||||||
|
"total_tokens": 5529517,
|
||||||
|
"web_search_calls": 728,
|
||||||
|
"input_usd": "3.71732000",
|
||||||
|
"cached_input_usd": "0.4902656",
|
||||||
|
"output_usd": "0.2608325",
|
||||||
|
"web_search_usd": "3.640",
|
||||||
|
"total_usd": "8.10841810",
|
||||||
|
"mean_usd": "0.07175591238938053097345132743"
|
||||||
|
},
|
||||||
|
"xai.grok-4.20-reasoning": {
|
||||||
|
"interactions": 13,
|
||||||
|
"input_tokens": 423457,
|
||||||
|
"cached_input_tokens": 139392,
|
||||||
|
"output_tokens": 31739,
|
||||||
|
"reasoning_tokens": 23469,
|
||||||
|
"total_tokens": 455196,
|
||||||
|
"web_search_calls": 58,
|
||||||
|
"input_usd": "0.35508125",
|
||||||
|
"cached_input_usd": "0.0278784",
|
||||||
|
"output_usd": "0.0793475",
|
||||||
|
"web_search_usd": "0.290",
|
||||||
|
"total_usd": "0.75230715",
|
||||||
|
"mean_usd": "0.05786978076923076923076923077"
|
||||||
|
},
|
||||||
|
"xai.grok-4.3": {
|
||||||
|
"interactions": 116,
|
||||||
|
"input_tokens": 2323819,
|
||||||
|
"cached_input_tokens": 354560,
|
||||||
|
"output_tokens": 132436,
|
||||||
|
"reasoning_tokens": 80151,
|
||||||
|
"total_tokens": 2456255,
|
||||||
|
"web_search_calls": 362,
|
||||||
|
"input_usd": "2.46157375",
|
||||||
|
"cached_input_usd": "0.0709120",
|
||||||
|
"output_usd": "0.3310900",
|
||||||
|
"web_search_usd": "1.810",
|
||||||
|
"total_usd": "4.67357575",
|
||||||
|
"mean_usd": "0.04028944612068965517241379310"
|
||||||
|
},
|
||||||
|
"xai.grok-4.6": {
|
||||||
|
"interactions": 13,
|
||||||
|
"input_tokens": 981041,
|
||||||
|
"cached_input_tokens": 449024,
|
||||||
|
"output_tokens": 43216,
|
||||||
|
"reasoning_tokens": 35777,
|
||||||
|
"total_tokens": 1024257,
|
||||||
|
"web_search_calls": 97,
|
||||||
|
"input_usd": "1.064034",
|
||||||
|
"cached_input_usd": "0.224512",
|
||||||
|
"output_usd": "0.259296",
|
||||||
|
"web_search_usd": "0.485",
|
||||||
|
"total_usd": "2.032842",
|
||||||
|
"mean_usd": "0.1563724615384615384615384615"
|
||||||
|
},
|
||||||
|
"xai.grok-4.7": {
|
||||||
|
"interactions": 13,
|
||||||
|
"input_tokens": 1812889,
|
||||||
|
"cached_input_tokens": 1144704,
|
||||||
|
"output_tokens": 53315,
|
||||||
|
"reasoning_tokens": 43212,
|
||||||
|
"total_tokens": 1866204,
|
||||||
|
"web_search_calls": 130,
|
||||||
|
"input_usd": "1.743524",
|
||||||
|
"cached_input_usd": "0.840704",
|
||||||
|
"output_usd": "0.454320",
|
||||||
|
"web_search_usd": "0.650",
|
||||||
|
"total_usd": "3.688548",
|
||||||
|
"mean_usd": "0.2837344615384615384615384615"
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
94
benchmarks/screening/intents-12.json
Normal file
94
benchmarks/screening/intents-12.json
Normal file
@@ -0,0 +1,94 @@
|
|||||||
|
{
|
||||||
|
"reference_date": "2026-10-15",
|
||||||
|
"timezone": "America/Sao_Paulo",
|
||||||
|
"selection_rule": "SHA256(seed|category|id|prompt_sha256), três menores hashes por categoria; ordem alternada por tema",
|
||||||
|
"selection_seed": "grok-retrospective-screening-v1",
|
||||||
|
"source_dataset_sha256": "8a0853e741894e8dca737250845297eb75de60e0494b9aeb2f07fd2506d6acde",
|
||||||
|
"retrospective": true,
|
||||||
|
"intents": [
|
||||||
|
{
|
||||||
|
"id": "I006",
|
||||||
|
"category": "culinaria",
|
||||||
|
"intent": "festival gastronômico em andamento",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais festivais gastronômicos estão acontecendo nesta semana em São Paulo, com datas e participantes? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "36d5d240061a327be7d16f82eb8c3405e02a255cd17ec92d91f8d62c5a2d1838"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I047",
|
||||||
|
"category": "esportes",
|
||||||
|
"intent": "próximo card do UFC",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é o próximo evento do UFC, quais lutas estão confirmadas e onde assistir no Brasil? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "4bf73cf45fe62d1d17e484418e5c107f3bd191034403cd6748819cf732167c45"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I075",
|
||||||
|
"category": "clima",
|
||||||
|
"intent": "comparação de previsões atuais",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Compare as previsões atuais do INMET e de outro serviço para a temperatura e chuva em Belo Horizonte amanhã; destaque divergências. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "8c4fda5910f4c2872bac055d0fa55a46bbea65f1343476b325c2766d063ee01c"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I100",
|
||||||
|
"category": "entretenimento",
|
||||||
|
"intent": "visitação e bilheteria de atração atual",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais são os horários de funcionamento e preços de ingresso atuais do Museu do Futebol em São Paulo e há aviso de fechamento nesta semana? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "f36c95b21499a98c811a51af02247698803d7f387a10737c739ab40795277293"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I017",
|
||||||
|
"category": "culinaria",
|
||||||
|
"intent": "concurso gastronômico recente",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quem venceu o concurso de melhor queijo no campeonato brasileiro mais recente? Informe o nome e a data do concurso. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "36c3c21fe52815081f09b828331c5c5577a32dc91a296eb0bf059fafd041ee9d"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I027",
|
||||||
|
"category": "esportes",
|
||||||
|
"intent": "partidas da seleção feminina",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é o próximo jogo confirmado da seleção brasileira feminina de futebol, com adversário, local e transmissão? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "5042539efe0822fbcd47645e86e11a9f25dc7276be67ec89e302f99935b9d91f"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I056",
|
||||||
|
"category": "clima",
|
||||||
|
"intent": "condição para trilha em data próxima",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é a previsão atual para trilha em Campos do Jordão no próximo sábado de manhã, com chuva e temperatura? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "e4745eff05345e016e8e3a962ab2ac7df60a25bbd98356af67733cc06854e26f"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I099",
|
||||||
|
"category": "entretenimento",
|
||||||
|
"intent": "evento de cultura pop próximo",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais eventos de cultura pop ou quadrinhos estão confirmados no estado de São Paulo para os próximos 30 dias? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "1cb9897fe374c88a1319dbabe4f530faf68a1dcb89bf80edfd1c0043aec60653"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I004",
|
||||||
|
"category": "culinaria",
|
||||||
|
"intent": "brunch do próximo domingo",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais hotéis em São Paulo anunciam brunch para o próximo domingo, com preços e horários? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "8496f2847c6920205e32ef7f297b0a76e1d94fba27e5b1200feb8003cdd9ad11"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I039",
|
||||||
|
"category": "esportes",
|
||||||
|
"intent": "próxima etapa da Fórmula 1",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é o próximo Grande Prêmio de Fórmula 1 e quais são os horários oficiais de treinos, classificação e corrida em Brasília? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "dfae3c7a38e6bc2cb0be6fb392d474296acba3fb7aacf1b906d3643687ada978"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I061",
|
||||||
|
"category": "clima",
|
||||||
|
"intent": "onda de calor vigente",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais estados brasileiros têm alertas oficiais vigentes de onda de calor e até quando? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "b0e7eddb6280bfcdc0ce87ff6069583c40b176d01de9c59721c16e4a25ddaa12"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": "I091",
|
||||||
|
"category": "entretenimento",
|
||||||
|
"intent": "lançamento recente de álbum",
|
||||||
|
"prompt": "Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais álbuns de artistas brasileiros foram lançados nos últimos sete dias? Informe artista, título e data. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória.",
|
||||||
|
"prompt_sha256": "2c0f83d9cb7ae97778646aedc15e690380621be6f1c0816d45c4179628b747e2"
|
||||||
|
}
|
||||||
|
]
|
||||||
|
}
|
||||||
120
benchmarks/screening/oracle-prices.json
Normal file
120
benchmarks/screening/oracle-prices.json
Normal file
@@ -0,0 +1,120 @@
|
|||||||
|
{
|
||||||
|
"retrieved_at": "2026-10-15T10:32:35.169069-03:00",
|
||||||
|
"price_list_url": "https://www.oracle.com/cloud/price-list/",
|
||||||
|
"data_url": "https://www.oracle.com/a/ocom/docs/pricing/cloud-price-list.json",
|
||||||
|
"data_sha256": "354aa11836c07e2c065700b0efd80253e8c12d9e643e55160fc1ccd9ea7235d9",
|
||||||
|
"currency": "USD",
|
||||||
|
"pricing": "standard; USD por 1 milhão de tokens; busca por 1000 chamadas",
|
||||||
|
"models": {
|
||||||
|
"grok-4.20": {
|
||||||
|
"input_short": {
|
||||||
|
"sku": "B111910",
|
||||||
|
"usd": 1.25
|
||||||
|
},
|
||||||
|
"cached_short": {
|
||||||
|
"sku": "B111911",
|
||||||
|
"usd": 0.2
|
||||||
|
},
|
||||||
|
"output_short": {
|
||||||
|
"sku": "B112076",
|
||||||
|
"usd": 2.5
|
||||||
|
},
|
||||||
|
"input_long": {
|
||||||
|
"sku": "B112077",
|
||||||
|
"usd": 2.5
|
||||||
|
},
|
||||||
|
"cached_long": {
|
||||||
|
"sku": "B112078",
|
||||||
|
"usd": 0.4
|
||||||
|
},
|
||||||
|
"output_long": {
|
||||||
|
"sku": "B112079",
|
||||||
|
"usd": 5
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"grok-4.3": {
|
||||||
|
"input_short": {
|
||||||
|
"sku": "B112080",
|
||||||
|
"usd": 1.25
|
||||||
|
},
|
||||||
|
"cached_short": {
|
||||||
|
"sku": "B112081",
|
||||||
|
"usd": 0.2
|
||||||
|
},
|
||||||
|
"output_short": {
|
||||||
|
"sku": "B112082",
|
||||||
|
"usd": 2.5
|
||||||
|
},
|
||||||
|
"input_long": {
|
||||||
|
"sku": "B112083",
|
||||||
|
"usd": 2.5
|
||||||
|
},
|
||||||
|
"cached_long": {
|
||||||
|
"sku": "B112084",
|
||||||
|
"usd": 0.4
|
||||||
|
},
|
||||||
|
"output_long": {
|
||||||
|
"sku": "B112085",
|
||||||
|
"usd": 5
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"grok-4.6": {
|
||||||
|
"input_short": {
|
||||||
|
"sku": "B112086",
|
||||||
|
"usd": 2
|
||||||
|
},
|
||||||
|
"cached_short": {
|
||||||
|
"sku": "B112087",
|
||||||
|
"usd": 0.5
|
||||||
|
},
|
||||||
|
"output_short": {
|
||||||
|
"sku": "B112589",
|
||||||
|
"usd": 6
|
||||||
|
},
|
||||||
|
"input_long": {
|
||||||
|
"sku": "B112590",
|
||||||
|
"usd": 4
|
||||||
|
},
|
||||||
|
"cached_long": {
|
||||||
|
"sku": "B112591",
|
||||||
|
"usd": 1
|
||||||
|
},
|
||||||
|
"output_long": {
|
||||||
|
"sku": "B112592",
|
||||||
|
"usd": 12
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"grok-4.7": {
|
||||||
|
"input_short": {
|
||||||
|
"sku": "B113303",
|
||||||
|
"usd": 2
|
||||||
|
},
|
||||||
|
"cached_short": {
|
||||||
|
"sku": "B113304",
|
||||||
|
"usd": 0.5
|
||||||
|
},
|
||||||
|
"output_short": {
|
||||||
|
"sku": "B113305",
|
||||||
|
"usd": 6
|
||||||
|
},
|
||||||
|
"input_long": {
|
||||||
|
"sku": "B113306",
|
||||||
|
"usd": 4
|
||||||
|
},
|
||||||
|
"cached_long": {
|
||||||
|
"sku": "B113307",
|
||||||
|
"usd": 1
|
||||||
|
},
|
||||||
|
"output_long": {
|
||||||
|
"sku": "B113308",
|
||||||
|
"usd": 12
|
||||||
|
}
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"web_search": {
|
||||||
|
"sku": "B112610",
|
||||||
|
"usd_per_1000": 5
|
||||||
|
},
|
||||||
|
"screening_checked_at": "2026-10-15T14:45:08.802114+00:00",
|
||||||
|
"screening_feed_sha256": "354aa11836c07e2c065700b0efd80253e8c12d9e643e55160fc1ccd9ea7235d9"
|
||||||
|
}
|
||||||
180
benchmarks/screening/report_screening.py
Normal file
180
benchmarks/screening/report_screening.py
Normal file
@@ -0,0 +1,180 @@
|
|||||||
|
"""Pontuação congelada e relatório retrospectivo, sem inferência adicional."""
|
||||||
|
import argparse
|
||||||
|
from collections import Counter
|
||||||
|
from decimal import Decimal
|
||||||
|
import csv
|
||||||
|
import copy
|
||||||
|
import hashlib
|
||||||
|
import json
|
||||||
|
import math
|
||||||
|
from pathlib import Path
|
||||||
|
import random
|
||||||
|
import statistics
|
||||||
|
import sys
|
||||||
|
|
||||||
|
ROOT=Path(__file__).resolve().parent
|
||||||
|
sys.path.insert(0,str(ROOT))
|
||||||
|
from run_screening import MODELS, read_results
|
||||||
|
D=lambda value:Decimal(str(value))
|
||||||
|
|
||||||
|
def config(model):return model.removeprefix('xai.').replace('-0309','')
|
||||||
|
|
||||||
|
def metrics(rows):
|
||||||
|
known=[r for r in rows if r.get('cost',{}).get('total_usd') is not None]
|
||||||
|
n=len(rows)
|
||||||
|
def total(key):return sum((D(r['cost'][key]) for r in known if r['cost'].get(key) is not None),D(0))
|
||||||
|
return {'interactions':n,'known_costs':len(known),'reliable_searches':sum(r.get('reliable_search',False) for r in rows),
|
||||||
|
'total_usd':str(total('total_usd')),'mean_usd':str(total('total_usd')/n) if n and len(known)==n else None,
|
||||||
|
**{k:str(total(k)) for k in ['input_usd','cached_input_usd','output_usd','web_search_usd']},
|
||||||
|
**{k:int(total(k)) for k in ['input_tokens','cached_input_tokens','output_tokens','reasoning_tokens','web_search_calls']},
|
||||||
|
'mean_total_tokens':str((total('input_tokens')+total('output_tokens'))/n) if n else None,
|
||||||
|
'median_seconds':statistics.median(r['seconds'] for r in rows) if n else None}
|
||||||
|
|
||||||
|
def score(rows,dataset,rules):
|
||||||
|
index={(r['model'],r['intent_id']):r for r in rows}
|
||||||
|
assert len(index)==len(rows)==84
|
||||||
|
per_model={}
|
||||||
|
for intent in dataset['intents']:
|
||||||
|
group=[index[(model,intent['id'])] for model in MODELS]
|
||||||
|
reliable=[r for r in group if r['reliable_search']]
|
||||||
|
best_cost=min((D(r['cost']['total_usd']) for r in reliable),default=None)
|
||||||
|
best_time=min((D(r['seconds']) for r in reliable),default=None)
|
||||||
|
assert len({r['shared_payload_sha256'] for r in group})==1
|
||||||
|
for row in group:
|
||||||
|
ok=row['reliable_search']
|
||||||
|
amount=D(row['cost']['total_usd']) if row['cost'].get('total_usd') is not None else None
|
||||||
|
cost=(D(1) if amount==0 else best_cost/amount) if ok else D(0)
|
||||||
|
latency=(D(1) if D(row['seconds'])==0 else best_time/D(row['seconds'])) if ok else D(0)
|
||||||
|
rel=D(1) if ok else D(0)
|
||||||
|
w=rules['weights']
|
||||||
|
row['score_components']={'cost':float(cost*100),'search_reliability':float(rel*100),'latency':float(latency*100)}
|
||||||
|
row['operational_score']=float(100*(D(w['cost'])*cost+D(w['search_reliability'])*rel+D(w['latency'])*latency))
|
||||||
|
for model in MODELS:
|
||||||
|
selected=[r for r in rows if r['model']==model]
|
||||||
|
by_category={c:statistics.mean(r['operational_score'] for r in selected if r['category']==c)
|
||||||
|
for c in ['culinaria','esportes','clima','entretenimento']}
|
||||||
|
value=sum(by_category.values())*rules['category_weight']
|
||||||
|
stat=metrics(selected)
|
||||||
|
gate=stat['known_costs']==rules['required_known_costs'] and stat['reliable_searches']>=rules['minimum_confirmed_searches']
|
||||||
|
per_model[model]={'model':model,'configuration':config(model),'score':value,'by_category':by_category,
|
||||||
|
'operational_gate_passed':gate,'passed':gate and value>=rules['cutoff_score'],**stat}
|
||||||
|
groups={}
|
||||||
|
for name in dict.fromkeys(config(m) for m in MODELS):
|
||||||
|
members=[m for m in MODELS if config(m)==name]
|
||||||
|
stat=metrics([r for r in rows if r['model'] in members])
|
||||||
|
value=statistics.mean(per_model[m]['score'] for m in members)
|
||||||
|
gate=all(per_model[m]['operational_gate_passed'] for m in members)
|
||||||
|
groups[name]={'configuration':name,'members':members,'score':value,
|
||||||
|
'operational_gate_passed':gate,'passed':gate and value>=rules['cutoff_score'],**stat}
|
||||||
|
sortkey=lambda g:(-g['score'],D(g['mean_usd']) if g['mean_usd'] is not None else D('Infinity'),g['median_seconds'],g['configuration'])
|
||||||
|
ranked=sorted(groups.values(),key=sortkey)
|
||||||
|
selected=[g['configuration'] for g in ranked if g['passed']][:2]
|
||||||
|
# Reamostrar casos iguais em todos os IDs, mantendo os estratos de três por tema.
|
||||||
|
rng=random.Random(20261015);scores={m:[] for m in MODELS};group_scores={g:[] for g in groups};top=Counter()
|
||||||
|
strata=[[i['id'] for i in dataset['intents'] if i['category']==c] for c in ['culinaria','esportes','clima','entretenimento']]
|
||||||
|
for _ in range(2000):
|
||||||
|
sample=[rng.choice(stratum) for stratum in strata for _ in range(3)]
|
||||||
|
idscore={m:statistics.mean(index[(m,key)]['operational_score'] for key in sample) for m in MODELS}
|
||||||
|
for m in MODELS:scores[m].append(idscore[m])
|
||||||
|
candidates=[]
|
||||||
|
for name,g in groups.items():
|
||||||
|
value=statistics.mean(idscore[m] for m in g['members']);group_scores[name].append(value)
|
||||||
|
if g['operational_gate_passed'] and value>=rules['cutoff_score']:
|
||||||
|
sampled=[index[(m,key)] for m in g['members'] for key in sample]
|
||||||
|
amounts=[D(r['cost']['total_usd']) for r in sampled]
|
||||||
|
candidates.append((-value,sum(amounts)/len(amounts),statistics.median(r['seconds'] for r in sampled),name))
|
||||||
|
for candidate in sorted(candidates)[:2]:top[candidate[-1]]+=1
|
||||||
|
def interval(values):
|
||||||
|
a=sorted(values);return [a[math.floor(.025*len(a))],a[math.ceil(.975*len(a))-1]]
|
||||||
|
for m in MODELS:per_model[m]['case_bootstrap_95_range']=interval(scores[m])
|
||||||
|
for name,g in groups.items():
|
||||||
|
g['case_bootstrap_95_range']=interval(group_scores[name]);g['bootstrap_top2_frequency']=top[name]/2000
|
||||||
|
return per_model,ranked,selected
|
||||||
|
|
||||||
|
def main():
|
||||||
|
parser=argparse.ArgumentParser();parser.add_argument('--run-id',default='screening-2026-10-15-v1');args=parser.parse_args()
|
||||||
|
assert all(c.isalnum() or c in '-_' for c in args.run_id)
|
||||||
|
source=ROOT.parent/'runs'/args.run_id
|
||||||
|
manifest=json.loads((source/'manifest.json').read_text());events=[json.loads(l) for l in (source/'events.jsonl').read_text().splitlines()]
|
||||||
|
rows=read_results(events);dataset=json.loads((ROOT/'intents-12.json').read_text());rules=json.loads((ROOT/'scoring-rules.json').read_text())
|
||||||
|
assert len({(r['model'],r['intent_id']) for r in rows})==len(rows)
|
||||||
|
print(f'{len(rows)}/84 chamadas coletadas')
|
||||||
|
if len(rows)!=84:print('Pontuação final não calculada para uma matriz incompleta.');return
|
||||||
|
assert hashlib.sha256((ROOT/'PROTOCOLO.md').read_bytes()).hexdigest()==manifest['protocol_sha256']
|
||||||
|
models,groups,selected=score(rows,dataset,rules)
|
||||||
|
prices=json.loads((ROOT/'oracle-prices.json').read_text())
|
||||||
|
no_cache=copy.deepcopy(rows)
|
||||||
|
for row in no_cache:
|
||||||
|
family='grok-4.20' if row['model'].startswith('xai.grok-4.20-') else row['model'].removeprefix('xai.')
|
||||||
|
rate=prices['models'][family]['input_'+row['cost'].get('pricing_band','short')]['usd']
|
||||||
|
c=row['cost']
|
||||||
|
c['input_usd']=str(D(c['input_tokens'])*D(rate)/D(1000000))
|
||||||
|
c['cached_input_usd']='0'
|
||||||
|
c['total_usd']=str(sum(D(c[k]) for k in ['input_usd','cached_input_usd','output_usd','web_search_usd']))
|
||||||
|
_,no_cache_groups,no_cache_selected=score(no_cache,dataset,rules)
|
||||||
|
original={'grok-4.3','grok-4.20-non-reasoning'}
|
||||||
|
confirmed=set(selected)==original and len(selected)==2
|
||||||
|
report={'retrospective':True,'run_id':args.run_id,'reference_date':dataset['reference_date'],
|
||||||
|
'method':'12 prompts idênticos x sete IDs; três por tema; critérios congelados antes das novas inferências; recuperações de rejeições compartilhadas de infraestrutura documentadas à parte',
|
||||||
|
'http_attempts':sum(e['event']=='started' for e in events),
|
||||||
|
'infrastructure_rejections':sum(e['event']=='infrastructure_rejected' for e in events),
|
||||||
|
'unknown_cost_infrastructure_attempts':sum(e['event']=='infrastructure_rejected' for e in events),
|
||||||
|
'manifest':manifest,'rules':rules,'total':metrics(rows),'by_model':models,'configurations':groups,
|
||||||
|
'selected_configurations':selected,'original_selection_confirmed':confirmed,
|
||||||
|
'cache_discount_sensitivity':{'secondary':True,'method':'Mesmos tokens e latências observados; entrada em cache reprecificada como entrada normal, sem novas chamadas. Não simula execução fisicamente sem cache.','selected_configurations':no_cache_selected,'configurations':no_cache_groups},
|
||||||
|
'original_selection':['grok-4.3','grok-4.20-non-reasoning'],
|
||||||
|
'conclusion':'A amostra confirma os dois candidatos originais segundo a regra operacional congelada.' if confirmed else 'A amostra não confirma os dois candidatos originais como as duas primeiras configurações segundo a regra congelada.',
|
||||||
|
'limits':'Nota operacional relativa, sem pontuação factual. Auditoria retrospectiva; 12 casos não permitem inferir o resultado de 100 intenções nos demais modelos.'}
|
||||||
|
target=ROOT/'results'/args.run_id;target.mkdir(parents=True,exist_ok=True)
|
||||||
|
(target/'summary.json').write_text(json.dumps(report,ensure_ascii=False,indent=2)+'\n')
|
||||||
|
public=[{k:v for k,v in r.items() if k!='provider_response_id'} for r in rows]
|
||||||
|
(target/'measured-usage.json').write_text(json.dumps(public,ensure_ascii=False,indent=2)+'\n')
|
||||||
|
prompts={r['id']:r['prompt'] for r in dataset['intents']}
|
||||||
|
fields=['intent_id','category','model','http','reliable_search','truncated','final_answer_chars','seconds','input_tokens','cached_input_tokens','output_tokens','reasoning_tokens','web_search_calls','input_usd','cached_input_usd','output_usd','web_search_usd','total_usd','cost_score','search_score','latency_score','operational_score','prompt_sha256','shared_payload_sha256','prompt']
|
||||||
|
with (target/'interactions.csv').open('w') as handle:
|
||||||
|
writer=csv.DictWriter(handle,fieldnames=fields,lineterminator='\n');writer.writeheader()
|
||||||
|
for row in rows:
|
||||||
|
flat={**row,**row['cost'],'cost_score':row['score_components']['cost'],
|
||||||
|
'search_score':row['score_components']['search_reliability'],'latency_score':row['score_components']['latency'],'prompt':prompts[row['intent_id']]}
|
||||||
|
writer.writerow({key:flat.get(key) for key in fields})
|
||||||
|
fmt=lambda v:f'{float(v):.4f}'
|
||||||
|
lines=['# Pré-teste retrospectivo — 12 consultas por identificador', '',
|
||||||
|
'**'+report['conclusion']+'**', '',
|
||||||
|
f"84 novas respostas avaliadas; {report['http_attempts']} tentativas HTTP, das quais {report['infrastructure_rejections']} rejeitadas por infraestrutura; custo conhecido US$ {report['total']['total_usd']}; buscas operacionais confiáveis {report['total']['reliable_searches']}/84.", '',
|
||||||
|
'A seleção original antecedeu este teste. Esta etapa é uma auditoria posterior e não reescreve a cronologia.', '',
|
||||||
|
'## Classificação por identificador', '',
|
||||||
|
'| ID OCI | Nota /100 | Busca confiável | Gate operacional | Corte >=70 | USD/interação | Tokens/interação | Mediana s | Faixa bootstrap das notas |',
|
||||||
|
'|---|---:|---:|---|---|---:|---:|---:|---|']
|
||||||
|
for row in sorted(models.values(),key=lambda r:-r['score']):
|
||||||
|
lo,hi=row['case_bootstrap_95_range'];lines.append(f"| `{row['model']}` | {fmt(row['score'])} | {row['reliable_searches']}/12 | {row['operational_gate_passed']} | {row['passed']} | {fmt(row['mean_usd']) if row['mean_usd'] is not None else 'unknown'} | {float(row['mean_total_tokens']):.2f} | {row['median_seconds']:.3f} | {lo:.2f}–{hi:.2f} |")
|
||||||
|
lines+=['','## Corte por configuração, com aliases agrupados', '',
|
||||||
|
'| Configuração | IDs agrupados | Nota /100 | Aprovada | Selecionada | Frequência top 2 no bootstrap |', '|---|---:|---:|---|---|---:|']
|
||||||
|
for row in groups:
|
||||||
|
lines.append(f"| `{row['configuration']}` | {len(row['members'])} | {fmt(row['score'])} | {row['passed']} | {row['configuration'] in selected} | {row['bootstrap_top2_frequency']:.1%} |")
|
||||||
|
lines+=['','## Sensibilidade ao desconto de cache', '',
|
||||||
|
'Análise secundária e exploratória, sem alterar a seleção principal. Nos mesmos registros, cobrar toda a entrada pela tarifa sem cache e reaplicar os mesmos pesos. Selecionadas nesse cenário contábil: '+', '.join('`'+v+'`' for v in no_cache_selected)+'. Não é uma simulação física de serviço sem cache.', '',
|
||||||
|
'A amostra não é holdout: os dois candidatos originais já receberam esses prompts no lote anterior. O cache da API não foi controlado. A sensibilidade apenas verifica a contribuição do desconto financeiro, mantendo tokens e tempos observados.', '',
|
||||||
|
'## Interpretação dos aliases', '',
|
||||||
|
'A nota agrupada é a média dos IDs da configuração. As duas versões de alias não ocupam vagas separadas. O gate operacional exige 12 custos conhecidos e ao menos 11 buscas confiáveis por ID; o corte de 70 aplica-se à nota da configuração.', '',
|
||||||
|
'## Regra e limites', '',
|
||||||
|
'- Pesos: 50% custo total, 30% busca operacional confiável e 20% latência; 25% por tema, com três consultas cada.',
|
||||||
|
'- Eficiência de custo e tempo normalizada pela melhor resposta confiável da mesma intenção. Uma resposta não confiável recebe zero nos três componentes.',
|
||||||
|
'- Busca confiável requer HTTP 200, custo conhecido, search completed, fontes, citações, texto final não vazio e ausência de sinal de truncamento. Não é avaliação factual.',
|
||||||
|
'- Faixa bootstrap: sensibilidade descritiva aos casos em 2000 reamostragens estratificadas e pareadas. Não é intervalo de confiança populacional e não mede repetições independentes da mesma pergunta.',
|
||||||
|
'- Gates de custo e confiabilidade ficam fixos na reamostragem; o corte de 70 é reaplicado às notas de cada reamostragem.',
|
||||||
|
'- As 84 respostas avaliadas são novas; nenhuma resposta do lote original de 200 foi reutilizada como execução deste pré-teste.',
|
||||||
|
'- As rejeições compartilhadas por HTTP 429 foram preservadas e recuperadas uma vez após controle de taxa; não foram computadas como custo zero ou como falha de um modelo. Veja o [adendo operacional](../../ADENDO-TAXA.md).',
|
||||||
|
'- O contador financeiro cobre respostas com usage; o custo das rejeições sem usage permanece desconhecido e não integra as médias nem o custo conhecido publicado.',
|
||||||
|
'- O limite de 2400 tokens de saída e os defaults do modelo são iguais aos do experimento. Truncamentos são penalizados; isso avalia esta configuração operacional, não a capacidade máxima de cada modelo.',
|
||||||
|
'- Custos calculados a preço de lista Oracle incluem tokens e websearch; não são fatura conciliada.',
|
||||||
|
'- O caso de contexto longo foi conciliado sem repetir a inferência; a memória de cálculo consta no [adendo de contabilidade](../../ADENDO-CONTABILIDADE.md).',
|
||||||
|
'- O parâmetro max_output_tokens=2400 não limitou o uso agregado de saída do loop a 2400 em todas as respostas. Os custos usam o usage total retornado, incluindo etapas internas.', '',
|
||||||
|
'## Evidências', '',
|
||||||
|
'- [Protocolo anterior às novas chamadas](../../PROTOCOLO.md).',
|
||||||
|
'- [Dataset de 12 intenções](../../intents-12.json), [regras de corte](../../scoring-rules.json) e [sensibilidade de cache](../../SENSIBILIDADES.md).',
|
||||||
|
'- [CSV das 84 interações](interactions.csv), [métricas medidas](measured-usage.json) e [resumo com bootstrap](summary.json).', '']
|
||||||
|
(target/'REPORT.md').write_text('\n'.join(lines))
|
||||||
|
(target/'sha256.json').write_text(json.dumps({name:hashlib.sha256((target/name).read_bytes()).hexdigest() for name in ['summary.json','measured-usage.json','interactions.csv','REPORT.md']},indent=2)+'\n')
|
||||||
|
print(report['conclusion']);print('Selecionadas:',selected);print('Custo novo USD:',report['total']['total_usd'])
|
||||||
|
|
||||||
|
if __name__=='__main__':main()
|
||||||
@@ -0,0 +1,60 @@
|
|||||||
|
# Pré-teste retrospectivo — 12 consultas por identificador
|
||||||
|
|
||||||
|
**A amostra confirma os dois candidatos originais segundo a regra operacional congelada.**
|
||||||
|
|
||||||
|
84 novas respostas avaliadas; 91 tentativas HTTP, das quais 7 rejeitadas por infraestrutura; custo conhecido US$ 9.45816885; buscas operacionais confiáveis 84/84.
|
||||||
|
|
||||||
|
A seleção original antecedeu este teste. Esta etapa é uma auditoria posterior e não reescreve a cronologia.
|
||||||
|
|
||||||
|
## Classificação por identificador
|
||||||
|
|
||||||
|
| ID OCI | Nota /100 | Busca confiável | Gate operacional | Corte >=70 | USD/interação | Tokens/interação | Mediana s | Faixa bootstrap das notas |
|
||||||
|
|---|---:|---:|---|---|---:|---:|---:|---|
|
||||||
|
| `xai.grok-4.3` | 97.1490 | 12/12 | True | True | 0.0424 | 22087.92 | 11.370 | 95.68–99.31 |
|
||||||
|
| `xai.grok-4.20-0309-non-reasoning` | 74.0107 | 12/12 | True | True | 0.0729 | 49058.42 | 12.639 | 70.94–77.03 |
|
||||||
|
| `xai.grok-4.20-non-reasoning` | 72.7615 | 12/12 | True | True | 0.0755 | 50843.83 | 12.383 | 69.97–76.11 |
|
||||||
|
| `xai.grok-4.20-reasoning` | 72.2381 | 12/12 | True | True | 0.0608 | 37148.58 | 29.154 | 69.53–75.30 |
|
||||||
|
| `xai.grok-4.20-0309-reasoning` | 67.9261 | 12/12 | True | False | 0.0661 | 43295.25 | 33.049 | 63.87–71.67 |
|
||||||
|
| `xai.grok-4.6` | 45.5086 | 12/12 | True | False | 0.1673 | 84555.58 | 65.825 | 43.92–47.39 |
|
||||||
|
| `xai.grok-4.7` | 43.3442 | 12/12 | True | False | 0.3032 | 154035.50 | 50.155 | 40.61–46.41 |
|
||||||
|
|
||||||
|
## Corte por configuração, com aliases agrupados
|
||||||
|
|
||||||
|
| Configuração | IDs agrupados | Nota /100 | Aprovada | Selecionada | Frequência top 2 no bootstrap |
|
||||||
|
|---|---:|---:|---|---|---:|
|
||||||
|
| `grok-4.3` | 1 | 97.1490 | True | True | 100.0% |
|
||||||
|
| `grok-4.20-non-reasoning` | 2 | 73.3861 | True | True | 99.8% |
|
||||||
|
| `grok-4.20-reasoning` | 2 | 70.0821 | True | False | 0.0% |
|
||||||
|
| `grok-4.6` | 1 | 45.5086 | False | False | 0.0% |
|
||||||
|
| `grok-4.7` | 1 | 43.3442 | False | False | 0.0% |
|
||||||
|
|
||||||
|
## Sensibilidade ao desconto de cache
|
||||||
|
|
||||||
|
Análise secundária e exploratória, sem alterar a seleção principal. Nos mesmos registros, cobrar toda a entrada pela tarifa sem cache e reaplicar os mesmos pesos. Selecionadas nesse cenário contábil: `grok-4.3`. Não é uma simulação física de serviço sem cache.
|
||||||
|
|
||||||
|
A amostra não é holdout: os dois candidatos originais já receberam esses prompts no lote anterior. O cache da API não foi controlado. A sensibilidade apenas verifica a contribuição do desconto financeiro, mantendo tokens e tempos observados.
|
||||||
|
|
||||||
|
## Interpretação dos aliases
|
||||||
|
|
||||||
|
A nota agrupada é a média dos IDs da configuração. As duas versões de alias não ocupam vagas separadas. O gate operacional exige 12 custos conhecidos e ao menos 11 buscas confiáveis por ID; o corte de 70 aplica-se à nota da configuração.
|
||||||
|
|
||||||
|
## Regra e limites
|
||||||
|
|
||||||
|
- Pesos: 50% custo total, 30% busca operacional confiável e 20% latência; 25% por tema, com três consultas cada.
|
||||||
|
- Eficiência de custo e tempo normalizada pela melhor resposta confiável da mesma intenção. Uma resposta não confiável recebe zero nos três componentes.
|
||||||
|
- Busca confiável requer HTTP 200, custo conhecido, search completed, fontes, citações, texto final não vazio e ausência de sinal de truncamento. Não é avaliação factual.
|
||||||
|
- Faixa bootstrap: sensibilidade descritiva aos casos em 2000 reamostragens estratificadas e pareadas. Não é intervalo de confiança populacional e não mede repetições independentes da mesma pergunta.
|
||||||
|
- Gates de custo e confiabilidade ficam fixos na reamostragem; o corte de 70 é reaplicado às notas de cada reamostragem.
|
||||||
|
- As 84 respostas avaliadas são novas; nenhuma resposta do lote original de 200 foi reutilizada como execução deste pré-teste.
|
||||||
|
- As rejeições compartilhadas por HTTP 429 foram preservadas e recuperadas uma vez após controle de taxa; não foram computadas como custo zero ou como falha de um modelo. Veja o [adendo operacional](../../ADENDO-TAXA.md).
|
||||||
|
- O contador financeiro cobre respostas com usage; o custo das rejeições sem usage permanece desconhecido e não integra as médias nem o custo conhecido publicado.
|
||||||
|
- O limite de 2400 tokens de saída e os defaults do modelo são iguais aos do experimento. Truncamentos são penalizados; isso avalia esta configuração operacional, não a capacidade máxima de cada modelo.
|
||||||
|
- Custos calculados a preço de lista Oracle incluem tokens e websearch; não são fatura conciliada.
|
||||||
|
- O caso de contexto longo foi conciliado sem repetir a inferência; a memória de cálculo consta no [adendo de contabilidade](../../ADENDO-CONTABILIDADE.md).
|
||||||
|
- O parâmetro max_output_tokens=2400 não limitou o uso agregado de saída do loop a 2400 em todas as respostas. Os custos usam o usage total retornado, incluindo etapas internas.
|
||||||
|
|
||||||
|
## Evidências
|
||||||
|
|
||||||
|
- [Protocolo anterior às novas chamadas](../../PROTOCOLO.md).
|
||||||
|
- [Dataset de 12 intenções](../../intents-12.json), [regras de corte](../../scoring-rules.json) e [sensibilidade de cache](../../SENSIBILIDADES.md).
|
||||||
|
- [CSV das 84 interações](interactions.csv), [métricas medidas](measured-usage.json) e [resumo com bootstrap](summary.json).
|
||||||
@@ -0,0 +1,85 @@
|
|||||||
|
intent_id,category,model,http,reliable_search,truncated,final_answer_chars,seconds,input_tokens,cached_input_tokens,output_tokens,reasoning_tokens,web_search_calls,input_usd,cached_input_usd,output_usd,web_search_usd,total_usd,cost_score,search_score,latency_score,operational_score,prompt_sha256,shared_payload_sha256,prompt
|
||||||
|
I006,culinaria,xai.grok-4.20-0309-non-reasoning,200,True,False,4575,20.383,46573,23424,1623,0,7,0.02893625,0.0046848,0.0040575,0.035,0.07267855,63.79426942337182,100.0,69.0477358583133,75.70668188334857,36d5d240061a327be7d16f82eb8c3405e02a255cd17ec92d91f8d62c5a2d1838,a01b683667a7a74ae1a4640b9a173a432fbf34247cdf4d1ad937e3d2cb532ef6,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais festivais gastronômicos estão acontecendo nesta semana em São Paulo, com datas e participantes? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I006,culinaria,xai.grok-4.20-0309-reasoning,200,True,False,2258,26.385,45862,22016,2554,1720,5,0.0298075,0.0044032,0.006385,0.025,0.0655957,70.68260571958223,100.0,53.340913397763885,76.00948553934388,36d5d240061a327be7d16f82eb8c3405e02a255cd17ec92d91f8d62c5a2d1838,a01b683667a7a74ae1a4640b9a173a432fbf34247cdf4d1ad937e3d2cb532ef6,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais festivais gastronômicos estão acontecendo nesta semana em São Paulo, com datas e participantes? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I006,culinaria,xai.grok-4.20-non-reasoning,200,True,False,3423,16.368,46359,23296,1406,0,7,0.02882875,0.0046592,0.003515,0.035,0.07200295,64.39284779304181,100.0,85.98484848484848,79.3933935934906,36d5d240061a327be7d16f82eb8c3405e02a255cd17ec92d91f8d62c5a2d1838,a01b683667a7a74ae1a4640b9a173a432fbf34247cdf4d1ad937e3d2cb532ef6,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais festivais gastronômicos estão acontecendo nesta semana em São Paulo, com datas e participantes? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I006,culinaria,xai.grok-4.20-reasoning,200,True,False,2168,28.205,45961,22144,2484,1674,5,0.02977125,0.0044288,0.00621,0.025,0.06541005,70.8832205448551,100.0,49.89895408615494,75.42140108965854,36d5d240061a327be7d16f82eb8c3405e02a255cd17ec92d91f8d62c5a2d1838,a01b683667a7a74ae1a4640b9a173a432fbf34247cdf4d1ad937e3d2cb532ef6,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais festivais gastronômicos estão acontecendo nesta semana em São Paulo, com datas e participantes? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I006,culinaria,xai.grok-4.3,200,True,False,2339,14.074,22867,1280,1650,932,3,0.02698375,0.000256,0.004125,0.015,0.04636475,100.0,100.0,100.0,100.0,36d5d240061a327be7d16f82eb8c3405e02a255cd17ec92d91f8d62c5a2d1838,a01b683667a7a74ae1a4640b9a173a432fbf34247cdf4d1ad937e3d2cb532ef6,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais festivais gastronômicos estão acontecendo nesta semana em São Paulo, com datas e participantes? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I006,culinaria,xai.grok-4.6,200,True,False,1851,72.888,63095,25472,2984,2225,7,0.075246,0.012736,0.017904,0.035,0.140886,32.90940902573712,100.0,19.309076939962683,50.316519900861095,36d5d240061a327be7d16f82eb8c3405e02a255cd17ec92d91f8d62c5a2d1838,a01b683667a7a74ae1a4640b9a173a432fbf34247cdf4d1ad937e3d2cb532ef6,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais festivais gastronômicos estão acontecendo nesta semana em São Paulo, com datas e participantes? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I006,culinaria,xai.grok-4.7,200,True,False,2106,34.047,70396,27776,2511,1572,7,0.08524,0.013888,0.015066,0.035,0.149194,31.076819443141144,100.0,41.336975357593914,53.80580479308936,36d5d240061a327be7d16f82eb8c3405e02a255cd17ec92d91f8d62c5a2d1838,a01b683667a7a74ae1a4640b9a173a432fbf34247cdf4d1ad937e3d2cb532ef6,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais festivais gastronômicos estão acontecendo nesta semana em São Paulo, com datas e participantes? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I047,esportes,xai.grok-4.20-0309-reasoning,200,True,False,1617,25.777,37725,16256,2364,1687,6,0.02683625,0.0032512,0.00591,0.03,0.06599745,58.29164611663026,100.0,37.33560926407262,66.61294491112966,4bf73cf45fe62d1d17e484418e5c107f3bd191034403cd6748819cf732167c45,4184d87bcb3b26483f5e018deaca7622fb571e5fe4790faab784767891e31c86,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é o próximo evento do UFC, quais lutas estão confirmadas e onde assistir no Brasil? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I047,esportes,xai.grok-4.20-non-reasoning,200,True,False,2337,11.601,35130,17024,898,0,6,0.0226325,0.0034048,0.002245,0.03,0.0582823,66.00803331371617,100.0,82.95836565813292,79.59568978848466,4bf73cf45fe62d1d17e484418e5c107f3bd191034403cd6748819cf732167c45,4184d87bcb3b26483f5e018deaca7622fb571e5fe4790faab784767891e31c86,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é o próximo evento do UFC, quais lutas estão confirmadas e onde assistir no Brasil? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I047,esportes,xai.grok-4.20-reasoning,200,True,False,1903,24.493,39440,18048,2154,1535,5,0.02674,0.0036096,0.005385,0.025,0.0607346,63.34280624224083,100.0,39.29285918425673,69.52997495797176,4bf73cf45fe62d1d17e484418e5c107f3bd191034403cd6748819cf732167c45,4184d87bcb3b26483f5e018deaca7622fb571e5fe4790faab784767891e31c86,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é o próximo evento do UFC, quais lutas estão confirmadas e onde assistir no Brasil? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I047,esportes,xai.grok-4.3,200,True,False,1241,9.624,18156,1280,848,462,3,0.021095,0.000256,0.00212,0.015,0.038471,100.0,100.0,100.0,100.0,4bf73cf45fe62d1d17e484418e5c107f3bd191034403cd6748819cf732167c45,4184d87bcb3b26483f5e018deaca7622fb571e5fe4790faab784767891e31c86,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é o próximo evento do UFC, quais lutas estão confirmadas e onde assistir no Brasil? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I047,esportes,xai.grok-4.6,200,True,False,1080,48.973,73845,27776,2503,2006,8,0.092138,0.013888,0.015018,0.04,0.161044,23.888502521050146,100.0,19.651644783860494,45.87458021729717,4bf73cf45fe62d1d17e484418e5c107f3bd191034403cd6748819cf732167c45,4184d87bcb3b26483f5e018deaca7622fb571e5fe4790faab784767891e31c86,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é o próximo evento do UFC, quais lutas estão confirmadas e onde assistir no Brasil? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I047,esportes,xai.grok-4.7,200,True,False,1673,36.256,125866,69504,3036,2267,9,0.112724,0.034752,0.018216,0.045,0.210692,18.259354887703378,100.0,26.544571932921446,44.438591830435975,4bf73cf45fe62d1d17e484418e5c107f3bd191034403cd6748819cf732167c45,4184d87bcb3b26483f5e018deaca7622fb571e5fe4790faab784767891e31c86,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é o próximo evento do UFC, quais lutas estão confirmadas e onde assistir no Brasil? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I047,esportes,xai.grok-4.20-0309-non-reasoning,200,True,False,2222,10.436,58559,27648,885,0,8,0.03863875,0.0055296,0.0022125,0.04,0.08638085,44.536491595069975,100.0,92.21924108853968,70.71209401524293,4bf73cf45fe62d1d17e484418e5c107f3bd191034403cd6748819cf732167c45,4184d87bcb3b26483f5e018deaca7622fb571e5fe4790faab784767891e31c86,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é o próximo evento do UFC, quais lutas estão confirmadas e onde assistir no Brasil? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I075,clima,xai.grok-4.20-non-reasoning,200,True,False,1828,20.007,41294,1152,863,0,7,0.0501775,0.0002304,0.0021575,0.035,0.0875654,51.5856719663246,100.0,63.05792972459639,68.40442192808158,8c4fda5910f4c2872bac055d0fa55a46bbea65f1343476b325c2766d063ee01c,cbd7bc81f287da9c05923bacfecb386f9bdb40dad93747d8358e92e272147a8b,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Compare as previsões atuais do INMET e de outro serviço para a temperatura e chuva em Belo Horizonte amanhã; destaque divergências. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I075,clima,xai.grok-4.20-reasoning,200,True,False,1512,29.73,35244,16000,3079,2467,5,0.024055,0.0032,0.0076975,0.025,0.0599525,75.34498144364288,100.0,42.435250588631014,76.15954083954765,8c4fda5910f4c2872bac055d0fa55a46bbea65f1343476b325c2766d063ee01c,cbd7bc81f287da9c05923bacfecb386f9bdb40dad93747d8358e92e272147a8b,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Compare as previsões atuais do INMET e de outro serviço para a temperatura e chuva em Belo Horizonte amanhã; destaque divergências. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I075,clima,xai.grok-4.3,200,True,False,1576,14.337,21542,256,1405,956,3,0.0266075,0.0000512,0.0035125,0.015,0.0451712,100.0,100.0,87.99609402245937,97.59921880449187,8c4fda5910f4c2872bac055d0fa55a46bbea65f1343476b325c2766d063ee01c,cbd7bc81f287da9c05923bacfecb386f9bdb40dad93747d8358e92e272147a8b,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Compare as previsões atuais do INMET e de outro serviço para a temperatura e chuva em Belo Horizonte amanhã; destaque divergências. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I075,clima,xai.grok-4.6,200,True,False,1312,109.758,61493,22656,4955,4282,7,0.077674,0.011328,0.02973,0.035,0.153732,29.383082247027293,100.0,11.494378541883052,46.99041683189026,8c4fda5910f4c2872bac055d0fa55a46bbea65f1343476b325c2766d063ee01c,cbd7bc81f287da9c05923bacfecb386f9bdb40dad93747d8358e92e272147a8b,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Compare as previsões atuais do INMET e de outro serviço para a temperatura e chuva em Belo Horizonte amanhã; destaque divergências. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I075,clima,xai.grok-4.7,200,True,False,1671,80.826,249047,193408,6231,5191,15,0.222556,0.193408,0.074772,0.075,0.565736,7.9845016049889,100.0,15.608838740009404,37.11401855049633,8c4fda5910f4c2872bac055d0fa55a46bbea65f1343476b325c2766d063ee01c,cbd7bc81f287da9c05923bacfecb386f9bdb40dad93747d8358e92e272147a8b,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Compare as previsões atuais do INMET e de outro serviço para a temperatura e chuva em Belo Horizonte amanhã; destaque divergências. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I075,clima,xai.grok-4.20-0309-non-reasoning,200,True,False,2016,12.616,45724,23936,888,0,7,0.027235,0.0047872,0.00222,0.035,0.0692422,65.23651761498046,100.0,100.0,82.61825880749024,8c4fda5910f4c2872bac055d0fa55a46bbea65f1343476b325c2766d063ee01c,cbd7bc81f287da9c05923bacfecb386f9bdb40dad93747d8358e92e272147a8b,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Compare as previsões atuais do INMET e de outro serviço para a temperatura e chuva em Belo Horizonte amanhã; destaque divergências. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I075,clima,xai.grok-4.20-0309-reasoning,200,True,False,1856,41.401,39652,19712,2902,2171,5,0.024925,0.0039424,0.007255,0.025,0.0611224,73.90285721764852,100.0,30.4726938962827,73.0459673880808,8c4fda5910f4c2872bac055d0fa55a46bbea65f1343476b325c2766d063ee01c,cbd7bc81f287da9c05923bacfecb386f9bdb40dad93747d8358e92e272147a8b,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Compare as previsões atuais do INMET e de outro serviço para a temperatura e chuva em Belo Horizonte amanhã; destaque divergências. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I100,entretenimento,xai.grok-4.20-reasoning,200,True,False,1481,17.598,13078,1792,1772,1277,3,0.0141075,0.0003584,0.00443,0.015,0.0338959,100.0,100.0,55.72224116376861,91.14444823275372,f36c95b21499a98c811a51af02247698803d7f387a10737c739ab40795277293,6e5c9d7b53e95209ec804472db0eff7c662620453ac504653ccea5573e8493c8,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais são os horários de funcionamento e preços de ingresso atuais do Museu do Futebol em São Paulo e há aviso de fechamento nesta semana? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I100,entretenimento,xai.grok-4.3,200,True,False,1307,11.496,16671,1280,1108,660,4,0.01923875,0.000256,0.00277,0.02,0.04226475,80.19898378672535,100.0,85.29923451635351,87.15933879663338,f36c95b21499a98c811a51af02247698803d7f387a10737c739ab40795277293,6e5c9d7b53e95209ec804472db0eff7c662620453ac504653ccea5573e8493c8,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais são os horários de funcionamento e preços de ingresso atuais do Museu do Futebol em São Paulo e há aviso de fechamento nesta semana? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I100,entretenimento,xai.grok-4.6,200,True,False,1311,77.868,80658,45568,3240,2662,6,0.07018,0.022784,0.01944,0.03,0.142404,23.80263194854077,100.0,12.593106282426671,44.41993723075572,f36c95b21499a98c811a51af02247698803d7f387a10737c739ab40795277293,6e5c9d7b53e95209ec804472db0eff7c662620453ac504653ccea5573e8493c8,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais são os horários de funcionamento e preços de ingresso atuais do Museu do Futebol em São Paulo e há aviso de fechamento nesta semana? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I100,entretenimento,xai.grok-4.7,200,True,False,1409,35.03,61196,25216,2849,2237,6,0.07196,0.012608,0.017094,0.03,0.131662,25.744633987027388,100.0,27.99314872966029,48.47094673944575,f36c95b21499a98c811a51af02247698803d7f387a10737c739ab40795277293,6e5c9d7b53e95209ec804472db0eff7c662620453ac504653ccea5573e8493c8,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais são os horários de funcionamento e preços de ingresso atuais do Museu do Futebol em São Paulo e há aviso de fechamento nesta semana? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I100,entretenimento,xai.grok-4.20-0309-non-reasoning,200,True,False,2205,12.663,37104,19584,901,0,5,0.0219,0.0039168,0.0022525,0.025,0.0530693,63.87101393837869,100.0,77.43820579641475,77.42314812847229,f36c95b21499a98c811a51af02247698803d7f387a10737c739ab40795277293,6e5c9d7b53e95209ec804472db0eff7c662620453ac504653ccea5573e8493c8,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais são os horários de funcionamento e preços de ingresso atuais do Museu do Futebol em São Paulo e há aviso de fechamento nesta semana? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I100,entretenimento,xai.grok-4.20-0309-reasoning,200,True,False,1439,26.051,27100,14208,2388,1818,4,0.016115,0.0028416,0.00597,0.02,0.0449266,75.44728512729652,100.0,37.64154926874208,75.25195241739668,f36c95b21499a98c811a51af02247698803d7f387a10737c739ab40795277293,6e5c9d7b53e95209ec804472db0eff7c662620453ac504653ccea5573e8493c8,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais são os horários de funcionamento e preços de ingresso atuais do Museu do Futebol em São Paulo e há aviso de fechamento nesta semana? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I100,entretenimento,xai.grok-4.20-non-reasoning,200,True,False,1812,9.806,37598,19200,709,0,4,0.0229975,0.00384,0.0017725,0.02,0.0486100,69.73030240691216,100.0,100.0,84.86515120345608,f36c95b21499a98c811a51af02247698803d7f387a10737c739ab40795277293,6e5c9d7b53e95209ec804472db0eff7c662620453ac504653ccea5573e8493c8,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais são os horários de funcionamento e preços de ingresso atuais do Museu do Futebol em São Paulo e há aviso de fechamento nesta semana? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I017,culinaria,xai.grok-4.3,200,True,False,741,10.199,11490,1280,784,538,3,0.0127625,0.000256,0.00196,0.015,0.0299785,100.0,100.0,100.0,100.0,36c3c21fe52815081f09b828331c5c5577a32dc91a296eb0bf059fafd041ee9d,6ecf80996df108806dcb5f8364df4f3b31317eb3c8b5ab0ba8cf9717b1995826,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quem venceu o concurso de melhor queijo no campeonato brasileiro mais recente? Informe o nome e a data do concurso. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I017,culinaria,xai.grok-4.6,200,True,False,1157,102.319,126919,75392,4881,4199,10,0.103054,0.037696,0.029286,0.05,0.220036,13.624361468123398,100.0,9.967845659163988,38.8057498658945,36c3c21fe52815081f09b828331c5c5577a32dc91a296eb0bf059fafd041ee9d,6ecf80996df108806dcb5f8364df4f3b31317eb3c8b5ab0ba8cf9717b1995826,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quem venceu o concurso de melhor queijo no campeonato brasileiro mais recente? Informe o nome e a data do concurso. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I017,culinaria,xai.grok-4.7,200,True,False,1664,53.465,252328,180864,4019,3205,13,0.285856,0.180864,0.048228,0.065,0.579948,5.169170339409741,100.0,19.07603104834939,36.39979137937475,36c3c21fe52815081f09b828331c5c5577a32dc91a296eb0bf059fafd041ee9d,6ecf80996df108806dcb5f8364df4f3b31317eb3c8b5ab0ba8cf9717b1995826,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quem venceu o concurso de melhor queijo no campeonato brasileiro mais recente? Informe o nome e a data do concurso. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I017,culinaria,xai.grok-4.20-0309-non-reasoning,200,True,False,2234,11.498,36587,15616,820,0,6,0.02621375,0.0031232,0.00205,0.03,0.06138695,48.83529805602005,100.0,88.70238302313446,72.15812563263691,36c3c21fe52815081f09b828331c5c5577a32dc91a296eb0bf059fafd041ee9d,6ecf80996df108806dcb5f8364df4f3b31317eb3c8b5ab0ba8cf9717b1995826,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quem venceu o concurso de melhor queijo no campeonato brasileiro mais recente? Informe o nome e a data do concurso. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I017,culinaria,xai.grok-4.20-0309-reasoning,200,True,False,1994,29.305,28197,13824,2760,2137,3,0.01796625,0.0027648,0.0069,0.015,0.04263105,70.3208107705534,100.0,34.802934652789624,72.12099231583461,36c3c21fe52815081f09b828331c5c5577a32dc91a296eb0bf059fafd041ee9d,6ecf80996df108806dcb5f8364df4f3b31317eb3c8b5ab0ba8cf9717b1995826,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quem venceu o concurso de melhor queijo no campeonato brasileiro mais recente? Informe o nome e a data do concurso. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I017,culinaria,xai.grok-4.20-non-reasoning,200,True,False,2133,11.519,48418,1920,837,0,6,0.0581225,0.000384,0.0020925,0.03,0.0905990,33.089217320279474,100.0,88.54067193332754,64.25274304680525,36c3c21fe52815081f09b828331c5c5577a32dc91a296eb0bf059fafd041ee9d,6ecf80996df108806dcb5f8364df4f3b31317eb3c8b5ab0ba8cf9717b1995826,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quem venceu o concurso de melhor queijo no campeonato brasileiro mais recente? Informe o nome e a data do concurso. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I017,culinaria,xai.grok-4.20-reasoning,200,True,False,1529,33.765,28098,2176,2611,1945,4,0.0324025,0.0004352,0.0065275,0.02,0.0593652,50.49844016359753,100.0,30.205834443950838,61.29038697058893,36c3c21fe52815081f09b828331c5c5577a32dc91a296eb0bf059fafd041ee9d,6ecf80996df108806dcb5f8364df4f3b31317eb3c8b5ab0ba8cf9717b1995826,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quem venceu o concurso de melhor queijo no campeonato brasileiro mais recente? Informe o nome e a data do concurso. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I027,esportes,xai.grok-4.6,200,True,False,820,54.853,62331,23936,2491,2138,6,0.07679,0.011968,0.014946,0.03,0.133704,25.46479536887453,100.0,19.280622755364337,46.58852223551013,5042539efe0822fbcd47645e86e11a9f25dc7276be67ec89e302f99935b9d91f,8aa61e41d3c29bebf90a0972eb9d168f21c11e118ea694878bb2a38697dfc076,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é o próximo jogo confirmado da seleção brasileira feminina de futebol, com adversário, local e transmissão? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I027,esportes,xai.grok-4.7,200,True,False,1341,71.967,108425,63744,3834,3192,8,0.089362,0.031872,0.023004,0.04,0.184238,18.48014524690889,100.0,14.695624383397947,42.17919750013404,5042539efe0822fbcd47645e86e11a9f25dc7276be67ec89e302f99935b9d91f,8aa61e41d3c29bebf90a0972eb9d168f21c11e118ea694878bb2a38697dfc076,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é o próximo jogo confirmado da seleção brasileira feminina de futebol, com adversário, local e transmissão? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I027,esportes,xai.grok-4.20-0309-non-reasoning,200,True,False,2079,10.576,56073,20992,650,0,6,0.04385125,0.0041984,0.001625,0.03,0.07967465,42.73310268699015,100.0,100.0,71.36655134349508,5042539efe0822fbcd47645e86e11a9f25dc7276be67ec89e302f99935b9d91f,8aa61e41d3c29bebf90a0972eb9d168f21c11e118ea694878bb2a38697dfc076,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é o próximo jogo confirmado da seleção brasileira feminina de futebol, com adversário, local e transmissão? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I027,esportes,xai.grok-4.20-0309-reasoning,200,True,False,2133,29.482,30303,14336,2291,1654,5,0.01995875,0.0028672,0.0057275,0.025,0.05355345,63.57657629900594,100.0,35.87273590665491,68.96283533083395,5042539efe0822fbcd47645e86e11a9f25dc7276be67ec89e302f99935b9d91f,8aa61e41d3c29bebf90a0972eb9d168f21c11e118ea694878bb2a38697dfc076,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é o próximo jogo confirmado da seleção brasileira feminina de futebol, com adversário, local e transmissão? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I027,esportes,xai.grok-4.20-non-reasoning,200,True,False,2465,11.183,53126,21504,754,0,6,0.0395275,0.0043008,0.001885,0.03,0.0757133,44.96891563305258,100.0,94.57211839399088,71.39888149532446,5042539efe0822fbcd47645e86e11a9f25dc7276be67ec89e302f99935b9d91f,8aa61e41d3c29bebf90a0972eb9d168f21c11e118ea694878bb2a38697dfc076,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é o próximo jogo confirmado da seleção brasileira feminina de futebol, com adversário, local e transmissão? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I027,esportes,xai.grok-4.20-reasoning,200,True,False,1928,28.579,29156,2048,2199,1689,4,0.033885,0.0004096,0.0054975,0.02,0.0597921,56.94305769491287,100.0,37.00619335875993,65.87276751920842,5042539efe0822fbcd47645e86e11a9f25dc7276be67ec89e302f99935b9d91f,8aa61e41d3c29bebf90a0972eb9d168f21c11e118ea694878bb2a38697dfc076,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é o próximo jogo confirmado da seleção brasileira feminina de futebol, com adversário, local e transmissão? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I027,esportes,xai.grok-4.3,200,True,False,1767,11.866,13679,256,887,435,3,0.01677875,0.0000512,0.0022175,0.015,0.03404745,100.0,100.0,89.12860273049047,97.8257205460981,5042539efe0822fbcd47645e86e11a9f25dc7276be67ec89e302f99935b9d91f,8aa61e41d3c29bebf90a0972eb9d168f21c11e118ea694878bb2a38697dfc076,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é o próximo jogo confirmado da seleção brasileira feminina de futebol, com adversário, local e transmissão? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I056,clima,xai.grok-4.7,200,True,False,1204,50.692,103264,52736,4116,3402,9,0.101056,0.026368,0.024696,0.045,0.197120,20.810267857142858,100.0,22.181014755780005,44.84133687972743,e4745eff05345e016e8e3a962ab2ac7df60a25bbd98356af67733cc06854e26f,61e787af198c22ac8612e1f1bcf0d9477ea740725c8ca3aa81bb300854e658a5,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é a previsão atual para trilha em Campos do Jordão no próximo sábado de manhã, com chuva e temperatura? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I056,clima,xai.grok-4.20-0309-non-reasoning,200,True,False,2502,17.428,61917,31104,1113,0,6,0.03851625,0.0062208,0.0027825,0.03,0.07751955,52.917231846676096,100.0,64.51686940555427,69.36198980444891,e4745eff05345e016e8e3a962ab2ac7df60a25bbd98356af67733cc06854e26f,61e787af198c22ac8612e1f1bcf0d9477ea740725c8ca3aa81bb300854e658a5,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é a previsão atual para trilha em Campos do Jordão no próximo sábado de manhã, com chuva e temperatura? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I056,clima,xai.grok-4.20-0309-reasoning,200,True,False,1563,48.034,42385,1920,3433,2896,4,0.05058125,0.000384,0.0085825,0.02,0.07954775,51.568020465695135,100.0,23.408419036515802,60.46569404015073,e4745eff05345e016e8e3a962ab2ac7df60a25bbd98356af67733cc06854e26f,61e787af198c22ac8612e1f1bcf0d9477ea740725c8ca3aa81bb300854e658a5,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é a previsão atual para trilha em Campos do Jordão no próximo sábado de manhã, com chuva e temperatura? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I056,clima,xai.grok-4.20-non-reasoning,200,True,False,1453,16.135,63839,32128,828,0,6,0.03963875,0.0064256,0.00207,0.03,0.07813435,52.50085269794911,100.0,69.68701580415247,70.18782950980504,e4745eff05345e016e8e3a962ab2ac7df60a25bbd98356af67733cc06854e26f,61e787af198c22ac8612e1f1bcf0d9477ea740725c8ca3aa81bb300854e658a5,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é a previsão atual para trilha em Campos do Jordão no próximo sábado de manhã, com chuva e temperatura? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I056,clima,xai.grok-4.20-reasoning,200,True,False,1414,30.851,50021,18304,2420,1857,5,0.03964625,0.0036608,0.00605,0.025,0.07435705,55.16786908571547,100.0,36.44614437133318,64.87316341712437,e4745eff05345e016e8e3a962ab2ac7df60a25bbd98356af67733cc06854e26f,61e787af198c22ac8612e1f1bcf0d9477ea740725c8ca3aa81bb300854e658a5,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é a previsão atual para trilha em Campos do Jordão no próximo sábado de manhã, com chuva e temperatura? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I056,clima,xai.grok-4.3,200,True,False,1500,11.244,18582,256,1225,751,3,0.0229075,0.0000512,0.0030625,0.015,0.0410212,100.0,100.0,100.0,100.0,e4745eff05345e016e8e3a962ab2ac7df60a25bbd98356af67733cc06854e26f,61e787af198c22ac8612e1f1bcf0d9477ea740725c8ca3aa81bb300854e658a5,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é a previsão atual para trilha em Campos do Jordão no próximo sábado de manhã, com chuva e temperatura? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I056,clima,xai.grok-4.6,200,True,False,860,102.996,104904,55808,4885,4370,8,0.098192,0.027904,0.02931,0.04,0.195406,20.992804724522276,100.0,10.916928812769427,42.679788124815026,e4745eff05345e016e8e3a962ab2ac7df60a25bbd98356af67733cc06854e26f,61e787af198c22ac8612e1f1bcf0d9477ea740725c8ca3aa81bb300854e658a5,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é a previsão atual para trilha em Campos do Jordão no próximo sábado de manhã, com chuva e temperatura? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I099,entretenimento,xai.grok-4.20-0309-non-reasoning,200,True,False,2632,16.638,53111,25344,1198,0,9,0.03470875,0.0050688,0.002995,0.045,0.08777255,51.7031805501834,100.0,70.72364466883039,69.99631920885778,1cb9897fe374c88a1319dbabe4f530faf68a1dcb89bf80edfd1c0043aec60653,12210a170024f7526f968237648067c67042ad4289cfe9d242520e899a2f35f3,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais eventos de cultura pop ou quadrinhos estão confirmados no estado de São Paulo para os próximos 30 dias? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I099,entretenimento,xai.grok-4.20-0309-reasoning,200,True,False,2089,44.349,51195,24576,3466,2583,6,0.03327375,0.0049152,0.008665,0.03,0.07685395,59.048624045998935,100.0,26.53272903560396,64.83085783012027,1cb9897fe374c88a1319dbabe4f530faf68a1dcb89bf80edfd1c0043aec60653,12210a170024f7526f968237648067c67042ad4289cfe9d242520e899a2f35f3,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais eventos de cultura pop ou quadrinhos estão confirmados no estado de São Paulo para os próximos 30 dias? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I099,entretenimento,xai.grok-4.20-non-reasoning,200,True,False,2549,13.165,55250,23296,921,0,8,0.0399425,0.0046592,0.0023025,0.04,0.0869042,52.21980065405354,100.0,89.38093429548044,73.98608718612286,1cb9897fe374c88a1319dbabe4f530faf68a1dcb89bf80edfd1c0043aec60653,12210a170024f7526f968237648067c67042ad4289cfe9d242520e899a2f35f3,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais eventos de cultura pop ou quadrinhos estão confirmados no estado de São Paulo para os próximos 30 dias? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I099,entretenimento,xai.grok-4.20-reasoning,200,True,False,1799,26.069,22860,1024,2510,1892,3,0.027295,0.0002048,0.006275,0.015,0.0487748,93.0423087331983,100.0,45.13790325674172,85.5487350179475,1cb9897fe374c88a1319dbabe4f530faf68a1dcb89bf80edfd1c0043aec60653,12210a170024f7526f968237648067c67042ad4289cfe9d242520e899a2f35f3,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais eventos de cultura pop ou quadrinhos estão confirmados no estado de São Paulo para os próximos 30 dias? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I099,entretenimento,xai.grok-4.3,200,True,False,1590,11.767,22214,256,1153,661,3,0.0274475,0.0000512,0.0028825,0.015,0.0453812,100.0,100.0,100.0,100.0,1cb9897fe374c88a1319dbabe4f530faf68a1dcb89bf80edfd1c0043aec60653,12210a170024f7526f968237648067c67042ad4289cfe9d242520e899a2f35f3,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais eventos de cultura pop ou quadrinhos estão confirmados no estado de São Paulo para os próximos 30 dias? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I099,entretenimento,xai.grok-4.6,200,True,False,2044,67.584,86808,32640,3893,3023,10,0.108336,0.01632,0.023358,0.05,0.198014,22.918177502600827,100.0,17.41092566287879,44.94127388387617,1cb9897fe374c88a1319dbabe4f530faf68a1dcb89bf80edfd1c0043aec60653,12210a170024f7526f968237648067c67042ad4289cfe9d242520e899a2f35f3,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais eventos de cultura pop ou quadrinhos estão confirmados no estado de São Paulo para os próximos 30 dias? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I099,entretenimento,xai.grok-4.7,200,True,False,2365,115.561,238906,162432,12155,11008,14,0.305896,0.162432,0.14586,0.07,0.684188,6.632855297082089,100.0,10.182501016779018,35.35292785189685,1cb9897fe374c88a1319dbabe4f530faf68a1dcb89bf80edfd1c0043aec60653,12210a170024f7526f968237648067c67042ad4289cfe9d242520e899a2f35f3,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais eventos de cultura pop ou quadrinhos estão confirmados no estado de São Paulo para os próximos 30 dias? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I004,culinaria,xai.grok-4.20-0309-reasoning,200,True,False,2600,36.615,44539,1152,2981,2031,5,0.05423375,0.0002304,0.0074525,0.025,0.08691665,36.27803188456987,100.0,22.74204560972279,52.687425064229494,8496f2847c6920205e32ef7f297b0a76e1d94fba27e5b1200feb8003cdd9ad11,c2024c1b2f572734d238a57038f5e31328b005f104d70b5ae14f6aa53dafa256,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais hotéis em São Paulo anunciam brunch para o próximo domingo, com preços e horários? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I004,culinaria,xai.grok-4.20-non-reasoning,200,True,False,3953,28.633,35103,16384,1466,0,7,0.02339875,0.0032768,0.003665,0.035,0.06534055,48.25739911892386,100.0,29.08182865923934,59.945065291309795,8496f2847c6920205e32ef7f297b0a76e1d94fba27e5b1200feb8003cdd9ad11,c2024c1b2f572734d238a57038f5e31328b005f104d70b5ae14f6aa53dafa256,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais hotéis em São Paulo anunciam brunch para o próximo domingo, com preços e horários? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I004,culinaria,xai.grok-4.20-reasoning,200,True,False,2506,33.578,34515,2048,3048,2081,6,0.04058375,0.0004096,0.00762,0.03,0.07861335,40.1097905126801,100.0,24.79897551968551,55.01469036027715,8496f2847c6920205e32ef7f297b0a76e1d94fba27e5b1200feb8003cdd9ad11,c2024c1b2f572734d238a57038f5e31328b005f104d70b5ae14f6aa53dafa256,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais hotéis em São Paulo anunciam brunch para o próximo domingo, com preços e horários? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I004,culinaria,xai.grok-4.3,200,True,False,1839,8.327,12075,1152,1059,525,3,0.01365375,0.0002304,0.0026475,0.015,0.03153165,100.0,100.0,100.0,100.0,8496f2847c6920205e32ef7f297b0a76e1d94fba27e5b1200feb8003cdd9ad11,c2024c1b2f572734d238a57038f5e31328b005f104d70b5ae14f6aa53dafa256,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais hotéis em São Paulo anunciam brunch para o próximo domingo, com preços e horários? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I004,culinaria,xai.grok-4.6,200,True,False,1350,64.066,95219,56192,3657,2917,12,0.078054,0.028096,0.021942,0.06,0.188092,16.763950619909405,100.0,12.997533793275684,40.98148206860984,8496f2847c6920205e32ef7f297b0a76e1d94fba27e5b1200feb8003cdd9ad11,c2024c1b2f572734d238a57038f5e31328b005f104d70b5ae14f6aa53dafa256,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais hotéis em São Paulo anunciam brunch para o próximo domingo, com preços e horários? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I004,culinaria,xai.grok-4.7,200,True,False,1345,49.618,134879,91520,3610,2815,14,0.086718,0.04576,0.02166,0.07,0.224138,14.067962594473048,100.0,16.782216131242695,40.390424523485066,8496f2847c6920205e32ef7f297b0a76e1d94fba27e5b1200feb8003cdd9ad11,c2024c1b2f572734d238a57038f5e31328b005f104d70b5ae14f6aa53dafa256,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais hotéis em São Paulo anunciam brunch para o próximo domingo, com preços e horários? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I004,culinaria,xai.grok-4.20-0309-non-reasoning,200,True,False,4003,18.097,49689,23040,1479,0,7,0.03331125,0.004608,0.0036975,0.035,0.07661675,41.155034636681926,100.0,46.01315135105266,59.78014758855149,8496f2847c6920205e32ef7f297b0a76e1d94fba27e5b1200feb8003cdd9ad11,c2024c1b2f572734d238a57038f5e31328b005f104d70b5ae14f6aa53dafa256,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais hotéis em São Paulo anunciam brunch para o próximo domingo, com preços e horários? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I039,esportes,xai.grok-4.20-non-reasoning,200,True,False,2159,11.528,58862,29184,816,0,6,0.0370975,0.0058368,0.00204,0.03,0.0749743,57.74865520585054,100.0,59.46391394864677,70.76711039265463,dfae3c7a38e6bc2cb0be6fb392d474296acba3fb7aacf1b906d3643687ada978,dd25b050063dedccea0f1907a298be363b89877528cc7e9660a4304f0c987ab8,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é o próximo Grande Prêmio de Fórmula 1 e quais são os horários oficiais de treinos, classificação e corrida em Brasília? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I039,esportes,xai.grok-4.20-reasoning,200,True,False,2131,18.588,50443,18304,1824,1242,4,0.04017375,0.0036608,0.00456,0.02,0.06839455,63.30423988461069,100.0,36.878631375080694,69.02784621732148,dfae3c7a38e6bc2cb0be6fb392d474296acba3fb7aacf1b906d3643687ada978,dd25b050063dedccea0f1907a298be363b89877528cc7e9660a4304f0c987ab8,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é o próximo Grande Prêmio de Fórmula 1 e quais são os horários oficiais de treinos, classificação e corrida em Brasília? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I039,esportes,xai.grok-4.3,200,True,False,907,6.855,21951,1152,827,487,3,0.02599875,0.0002304,0.0020675,0.015,0.04329665,100.0,100.0,100.0,100.0,dfae3c7a38e6bc2cb0be6fb392d474296acba3fb7aacf1b906d3643687ada978,dd25b050063dedccea0f1907a298be363b89877528cc7e9660a4304f0c987ab8,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é o próximo Grande Prêmio de Fórmula 1 e quais são os horários oficiais de treinos, classificação e corrida em Brasília? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I039,esportes,xai.grok-4.6,200,True,False,1059,39.388,62505,24064,2242,1751,6,0.076882,0.012032,0.013452,0.03,0.132366,32.709797077799436,100.0,17.40377780034528,49.835654098968774,dfae3c7a38e6bc2cb0be6fb392d474296acba3fb7aacf1b906d3643687ada978,dd25b050063dedccea0f1907a298be363b89877528cc7e9660a4304f0c987ab8,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é o próximo Grande Prêmio de Fórmula 1 e quais são os horários oficiais de treinos, classificação e corrida em Brasília? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I039,esportes,xai.grok-4.7,200,True,False,1407,30.759,64006,27776,2511,1871,6,0.07246,0.013888,0.015066,0.03,0.131414,32.946756053388526,100.0,22.286160148249294,50.93061005634412,dfae3c7a38e6bc2cb0be6fb392d474296acba3fb7aacf1b906d3643687ada978,dd25b050063dedccea0f1907a298be363b89877528cc7e9660a4304f0c987ab8,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é o próximo Grande Prêmio de Fórmula 1 e quais são os horários oficiais de treinos, classificação e corrida em Brasília? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I039,esportes,xai.grok-4.20-0309-non-reasoning,200,True,False,2242,9.995,46002,22784,885,0,6,0.0290225,0.0045568,0.0022125,0.03,0.0657918,65.80858100857553,100.0,68.58429214607304,76.62114893350238,dfae3c7a38e6bc2cb0be6fb392d474296acba3fb7aacf1b906d3643687ada978,dd25b050063dedccea0f1907a298be363b89877528cc7e9660a4304f0c987ab8,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é o próximo Grande Prêmio de Fórmula 1 e quais são os horários oficiais de treinos, classificação e corrida em Brasília? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I039,esportes,xai.grok-4.20-0309-reasoning,200,True,False,1742,22.731,46401,22400,2268,1654,5,0.03000125,0.00448,0.00567,0.025,0.06515125,66.45559371462558,100.0,30.15705424310413,69.25920770593362,dfae3c7a38e6bc2cb0be6fb392d474296acba3fb7aacf1b906d3643687ada978,dd25b050063dedccea0f1907a298be363b89877528cc7e9660a4304f0c987ab8,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Qual é o próximo Grande Prêmio de Fórmula 1 e quais são os horários oficiais de treinos, classificação e corrida em Brasília? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I061,clima,xai.grok-4.20-reasoning,200,True,False,2027,30.465,36560,22016,2884,2067,6,0.01818,0.0044032,0.00721,0.03,0.0597932,60.408875925690545,100.0,28.92827835220745,65.99009363328676,b0e7eddb6280bfcdc0ce87ff6069583c40b176d01de9c59721c16e4a25ddaa12,8c75334566a6354de8c55ac1645d03838267b467477f42d0ca4a781c512ec191,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais estados brasileiros têm alertas oficiais vigentes de onda de calor e até quando? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I061,clima,xai.grok-4.3,200,True,False,981,9.779,16038,1152,913,574,3,0.0186075,0.0002304,0.0022825,0.015,0.0361204,100.0,100.0,90.12168933428777,98.02433786685755,b0e7eddb6280bfcdc0ce87ff6069583c40b176d01de9c59721c16e4a25ddaa12,8c75334566a6354de8c55ac1645d03838267b467477f42d0ca4a781c512ec191,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais estados brasileiros têm alertas oficiais vigentes de onda de calor e até quando? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I061,clima,xai.grok-4.6,200,True,False,1084,60.635,71105,28288,3226,2724,8,0.085634,0.014144,0.019356,0.04,0.159134,22.698103485113176,100.0,14.53450977158407,44.2559536968734,b0e7eddb6280bfcdc0ce87ff6069583c40b176d01de9c59721c16e4a25ddaa12,8c75334566a6354de8c55ac1645d03838267b467477f42d0ca4a781c512ec191,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais estados brasileiros têm alertas oficiais vigentes de onda de calor e até quando? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I061,clima,xai.grok-4.7,200,True,False,1324,30.07,199354,126848,2161,1324,14,0.145012,0.063424,0.012966,0.07,0.291402,12.395385069422996,100.0,29.308280678417027,42.059348670394904,b0e7eddb6280bfcdc0ce87ff6069583c40b176d01de9c59721c16e4a25ddaa12,8c75334566a6354de8c55ac1645d03838267b467477f42d0ca4a781c512ec191,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais estados brasileiros têm alertas oficiais vigentes de onda de calor e até quando? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I061,clima,xai.grok-4.20-0309-non-reasoning,200,True,False,1702,8.813,39606,15488,665,0,6,0.0301475,0.0030976,0.0016625,0.03,0.0649076,55.64895328127985,100.0,100.0,77.82447664063993,b0e7eddb6280bfcdc0ce87ff6069583c40b176d01de9c59721c16e4a25ddaa12,8c75334566a6354de8c55ac1645d03838267b467477f42d0ca4a781c512ec191,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais estados brasileiros têm alertas oficiais vigentes de onda de calor e até quando? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I061,clima,xai.grok-4.20-0309-reasoning,200,True,False,2262,39.62,49582,18176,2800,1938,6,0.0392575,0.0036352,0.007,0.03,0.0798927,45.211139440774936,100.0,22.243816254416963,57.05433297127086,b0e7eddb6280bfcdc0ce87ff6069583c40b176d01de9c59721c16e4a25ddaa12,8c75334566a6354de8c55ac1645d03838267b467477f42d0ca4a781c512ec191,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais estados brasileiros têm alertas oficiais vigentes de onda de calor e até quando? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I061,clima,xai.grok-4.20-non-reasoning,200,True,False,2337,13.476,67038,41088,966,0,8,0.0324375,0.0082176,0.002415,0.04,0.0830701,43.481830405886114,100.0,65.39774413772633,64.82046403048832,b0e7eddb6280bfcdc0ce87ff6069583c40b176d01de9c59721c16e4a25ddaa12,8c75334566a6354de8c55ac1645d03838267b467477f42d0ca4a781c512ec191,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais estados brasileiros têm alertas oficiais vigentes de onda de calor e até quando? Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I091,entretenimento,xai.grok-4.3,200,True,False,1678,15.541,56253,23168,1678,1064,5,0.04135625,0.0046336,0.004195,0.025,0.07518485,80.62668210417391,100.0,74.33241104176051,85.17982326043905,2c0f83d9cb7ae97778646aedc15e690380621be6f1c0816d45c4179628b747e2,13213d7230ac535ba62b00e7ffc6ada547afb4239e34bedc9a8cee6e23e0c824,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais álbuns de artistas brasileiros foram lançados nos últimos sete dias? Informe artista, título e data. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I091,entretenimento,xai.grok-4.6,200,True,False,1310,61.08,83447,29952,3381,2748,8,0.10699,0.014976,0.020286,0.04,0.182252,33.261116476088056,100.0,18.91290111329404,50.41313846070283,2c0f83d9cb7ae97778646aedc15e690380621be6f1c0816d45c4179628b747e2,13213d7230ac535ba62b00e7ffc6ada547afb4239e34bedc9a8cee6e23e0c824,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais álbuns de artistas brasileiros foram lançados nos últimos sete dias? Informe artista, título e data. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I091,entretenimento,xai.grok-4.7,200,True,False,1952,63.367,188652,119424,5074,4140,12,0.138456,0.059712,0.030444,0.06,0.288612,21.003648496943995,100.0,18.23030915145107,44.14788607876221,2c0f83d9cb7ae97778646aedc15e690380621be6f1c0816d45c4179628b747e2,13213d7230ac535ba62b00e7ffc6ada547afb4239e34bedc9a8cee6e23e0c824,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais álbuns de artistas brasileiros foram lançados nos últimos sete dias? Informe artista, título e data. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I091,entretenimento,xai.grok-4.20-0309-non-reasoning,200,True,False,2621,14.072,45488,19328,1161,0,8,0.0327,0.0038656,0.0029025,0.04,0.0794681,76.28098570369745,100.0,82.09209778283116,84.55891240841495,2c0f83d9cb7ae97778646aedc15e690380621be6f1c0816d45c4179628b747e2,13213d7230ac535ba62b00e7ffc6ada547afb4239e34bedc9a8cee6e23e0c824,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais álbuns de artistas brasileiros foram lançados nos últimos sete dias? Informe artista, título e data. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I091,entretenimento,xai.grok-4.20-0309-reasoning,200,True,False,2782,37.759,43113,20096,3282,2258,6,0.02877125,0.0040192,0.008205,0.03,0.07099545,85.38441548014697,100.0,30.594030562250058,78.8110138525235,2c0f83d9cb7ae97778646aedc15e690380621be6f1c0816d45c4179628b747e2,13213d7230ac535ba62b00e7ffc6ada547afb4239e34bedc9a8cee6e23e0c824,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais álbuns de artistas brasileiros foram lançados nos últimos sete dias? Informe artista, título e data. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I091,entretenimento,xai.grok-4.20-non-reasoning,200,True,False,1725,11.552,56770,26496,875,0,8,0.0378425,0.0052992,0.0021875,0.04,0.0853292,71.04139028609198,100.0,100.0,85.520695143046,2c0f83d9cb7ae97778646aedc15e690380621be6f1c0816d45c4179628b747e2,13213d7230ac535ba62b00e7ffc6ada547afb4239e34bedc9a8cee6e23e0c824,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais álbuns de artistas brasileiros foram lançados nos últimos sete dias? Informe artista, título e data. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
I091,entretenimento,xai.grok-4.20-reasoning,200,True,False,1910,33.081,30199,14464,3223,2414,6,0.01966875,0.0028928,0.0080575,0.03,0.06061905,100.0,100.0,34.92034702699435,86.98406940539887,2c0f83d9cb7ae97778646aedc15e690380621be6f1c0816d45c4179628b747e2,13213d7230ac535ba62b00e7ffc6ada547afb4239e34bedc9a8cee6e23e0c824,"Data de referência: 2026-10-15; fuso America/Sao_Paulo. Quais álbuns de artistas brasileiros foram lançados nos últimos sete dias? Informe artista, título e data. Pesquise na web para verificar a informação, cite URLs e datas das fontes e informe se o dado não estiver disponível ou confirmado. Não substitua informação atual por conhecimento de memória."
|
||||||
|
File diff suppressed because it is too large
Load Diff
@@ -0,0 +1,6 @@
|
|||||||
|
{
|
||||||
|
"summary.json": "9a69140b2d39af301e9a119fef9912c5f31979315618eae95a5ab64e4c15360b",
|
||||||
|
"measured-usage.json": "5282c1859b63a1ae18b6162ec9b1c378f4971af8a431edfce16cc223907b18f8",
|
||||||
|
"interactions.csv": "6b885c47f3822be6dc6fb7729c043b0bf1fb9d4288fd7a81b8ff864c44b5fe90",
|
||||||
|
"REPORT.md": "8ed7d19223d3b4699701b37d4a7b433620d9628987d4f687e72aeb93d05721cd"
|
||||||
|
}
|
||||||
@@ -0,0 +1,635 @@
|
|||||||
|
{
|
||||||
|
"retrospective": true,
|
||||||
|
"run_id": "screening-2026-10-15-v1",
|
||||||
|
"reference_date": "2026-10-15",
|
||||||
|
"method": "12 prompts idênticos x sete IDs; três por tema; critérios congelados antes das novas inferências; recuperações de rejeições compartilhadas de infraestrutura documentadas à parte",
|
||||||
|
"http_attempts": 91,
|
||||||
|
"infrastructure_rejections": 7,
|
||||||
|
"unknown_cost_infrastructure_attempts": 7,
|
||||||
|
"manifest": {
|
||||||
|
"dataset_sha256": "5487cc3c1a0458d8064ceced8b5bf6610905fad30f5deaa581c063566cb7cfad",
|
||||||
|
"prices_sha256": "8876c4caaf82a4541fe0f79626b778dd7f0980209655c4d679bb6197a7012257",
|
||||||
|
"rules_sha256": "26d3b045b29940d457137d7edd117c3fad022c01f85ee669d7b564cbfa5d9001",
|
||||||
|
"study_sha256": "161ff2f534695771e38ffa3d7cb971845c4b9cc143006d8b8caaaec78477e0c3",
|
||||||
|
"system_sha256": "8a6fa58dbc2539af95cf138848caf4ac704abb6ee738ff197df2859f19788b42",
|
||||||
|
"protocol_sha256": "91f14676799ed4c0bb802bb8fa61369613a905aa0680d29fee028009cb14d61f",
|
||||||
|
"models": [
|
||||||
|
"xai.grok-4.20-0309-non-reasoning",
|
||||||
|
"xai.grok-4.20-0309-reasoning",
|
||||||
|
"xai.grok-4.20-non-reasoning",
|
||||||
|
"xai.grok-4.20-reasoning",
|
||||||
|
"xai.grok-4.3",
|
||||||
|
"xai.grok-4.6",
|
||||||
|
"xai.grok-4.7"
|
||||||
|
],
|
||||||
|
"reference_date": "2026-10-15",
|
||||||
|
"concurrency": 2,
|
||||||
|
"max_output_tokens": 2400,
|
||||||
|
"timeout_seconds": 150,
|
||||||
|
"retries": 0,
|
||||||
|
"region": "us-chicago-1",
|
||||||
|
"endpoint": "/v1/responses",
|
||||||
|
"retrospective": true
|
||||||
|
},
|
||||||
|
"rules": {
|
||||||
|
"version": "v1",
|
||||||
|
"retrospective": true,
|
||||||
|
"weights": {
|
||||||
|
"cost": 0.5,
|
||||||
|
"search_reliability": 0.3,
|
||||||
|
"latency": 0.2
|
||||||
|
},
|
||||||
|
"category_weight": 0.25,
|
||||||
|
"cutoff_score": 70,
|
||||||
|
"minimum_confirmed_searches": 11,
|
||||||
|
"required_known_costs": 12,
|
||||||
|
"primary_score": "Por intenção: 100*(0.50*menor_custo/custo_modelo + 0.30*busca_confiável + 0.20*menor_latência/latência_modelo). Eficiência recebe zero quando a busca não é confiável. Média de três intenções por tema; cada tema pesa 25%.",
|
||||||
|
"reliability": "HTTP 200, custo conhecido, busca completed com fontes e citações, texto final não vazio e resposta não truncada; não é nota de correção factual.",
|
||||||
|
"normalization": "Melhor custo e melhor latência entre respostas confiáveis da mesma intenção; falhas não entram como melhores.",
|
||||||
|
"aliases": "Notas dos IDs da mesma configuração são promediadas; ambos devem satisfazer os gates. Selecionar duas configurações distintas com nota >=70, por ordem de nota. Não forçar dois aprovados.",
|
||||||
|
"ties": [
|
||||||
|
"menor custo médio por interação",
|
||||||
|
"menor mediana de latência",
|
||||||
|
"nome da configuração em ordem alfabética"
|
||||||
|
],
|
||||||
|
"sampling": "12 consultas: três por tema; seleção usa apenas hashes dos prompts, sem acesso aos resultados financeiros na função de seleção.",
|
||||||
|
"uncertainty": "Bootstrap estratificado e pareado de 2000 reamostragens, seed 20261015; intervalo descritivo de variabilidade de casos, não confiança populacional nem avaliação factual."
|
||||||
|
},
|
||||||
|
"total": {
|
||||||
|
"interactions": 84,
|
||||||
|
"known_costs": 84,
|
||||||
|
"reliable_searches": 84,
|
||||||
|
"total_usd": "9.45816885",
|
||||||
|
"mean_usd": "0.1125972482142857142857142857",
|
||||||
|
"input_usd": "4.57596475",
|
||||||
|
"cached_input_usd": "1.2390016",
|
||||||
|
"output_usd": "0.9532025",
|
||||||
|
"web_search_usd": "2.690",
|
||||||
|
"input_tokens": 5097015,
|
||||||
|
"cached_input_tokens": 2469760,
|
||||||
|
"output_tokens": 195286,
|
||||||
|
"reasoning_tokens": 132001,
|
||||||
|
"web_search_calls": 538,
|
||||||
|
"mean_total_tokens": "63003.58333333333333333333333",
|
||||||
|
"median_seconds": 26.227
|
||||||
|
},
|
||||||
|
"by_model": {
|
||||||
|
"xai.grok-4.20-0309-non-reasoning": {
|
||||||
|
"model": "xai.grok-4.20-0309-non-reasoning",
|
||||||
|
"configuration": "grok-4.20-non-reasoning",
|
||||||
|
"score": 74.01065453292512,
|
||||||
|
"by_category": {
|
||||||
|
"culinaria": 69.21498503484565,
|
||||||
|
"esportes": 72.89993143074679,
|
||||||
|
"clima": 76.60157508419303,
|
||||||
|
"entretenimento": 77.326126581915
|
||||||
|
},
|
||||||
|
"operational_gate_passed": true,
|
||||||
|
"passed": true,
|
||||||
|
"interactions": 12,
|
||||||
|
"known_costs": 12,
|
||||||
|
"reliable_searches": 12,
|
||||||
|
"total_usd": "0.87450885",
|
||||||
|
"mean_usd": "0.0728757375",
|
||||||
|
"input_usd": "0.38518125",
|
||||||
|
"cached_input_usd": "0.0536576",
|
||||||
|
"output_usd": "0.0306700",
|
||||||
|
"web_search_usd": "0.405",
|
||||||
|
"input_tokens": 576433,
|
||||||
|
"cached_input_tokens": 268288,
|
||||||
|
"output_tokens": 12268,
|
||||||
|
"reasoning_tokens": 0,
|
||||||
|
"web_search_calls": 81,
|
||||||
|
"mean_total_tokens": "49058.41666666666666666666667",
|
||||||
|
"median_seconds": 12.6395,
|
||||||
|
"case_bootstrap_95_range": [
|
||||||
|
70.93604846765469,
|
||||||
|
77.02627691399306
|
||||||
|
]
|
||||||
|
},
|
||||||
|
"xai.grok-4.20-0309-reasoning": {
|
||||||
|
"model": "xai.grok-4.20-0309-reasoning",
|
||||||
|
"configuration": "grok-4.20-reasoning",
|
||||||
|
"score": 67.926059113904,
|
||||||
|
"by_category": {
|
||||||
|
"culinaria": 66.939300973136,
|
||||||
|
"esportes": 68.27832931596575,
|
||||||
|
"clima": 63.521998133167465,
|
||||||
|
"entretenimento": 72.96460803334682
|
||||||
|
},
|
||||||
|
"operational_gate_passed": true,
|
||||||
|
"passed": false,
|
||||||
|
"interactions": 12,
|
||||||
|
"known_costs": 12,
|
||||||
|
"reliable_searches": 12,
|
||||||
|
"total_usd": "0.79318440",
|
||||||
|
"mean_usd": "0.06609870",
|
||||||
|
"input_usd": "0.37172750",
|
||||||
|
"cached_input_usd": "0.0377344",
|
||||||
|
"output_usd": "0.0837225",
|
||||||
|
"web_search_usd": "0.300",
|
||||||
|
"input_tokens": 486054,
|
||||||
|
"cached_input_tokens": 188672,
|
||||||
|
"output_tokens": 33489,
|
||||||
|
"reasoning_tokens": 24547,
|
||||||
|
"web_search_calls": 60,
|
||||||
|
"mean_total_tokens": "43295.25",
|
||||||
|
"median_seconds": 33.048500000000004,
|
||||||
|
"case_bootstrap_95_range": [
|
||||||
|
63.8727041625088,
|
||||||
|
71.66759604432121
|
||||||
|
]
|
||||||
|
},
|
||||||
|
"xai.grok-4.20-non-reasoning": {
|
||||||
|
"model": "xai.grok-4.20-non-reasoning",
|
||||||
|
"configuration": "grok-4.20-non-reasoning",
|
||||||
|
"score": 72.76146105075577,
|
||||||
|
"by_category": {
|
||||||
|
"culinaria": 67.86373397720189,
|
||||||
|
"esportes": 73.92056055882125,
|
||||||
|
"clima": 67.80423848945831,
|
||||||
|
"entretenimento": 81.45731117754164
|
||||||
|
},
|
||||||
|
"operational_gate_passed": true,
|
||||||
|
"passed": true,
|
||||||
|
"interactions": 12,
|
||||||
|
"known_costs": 12,
|
||||||
|
"reliable_searches": 12,
|
||||||
|
"total_usd": "0.90652565",
|
||||||
|
"mean_usd": "0.07554380416666666666666666667",
|
||||||
|
"input_usd": "0.43264375",
|
||||||
|
"cached_input_usd": "0.0505344",
|
||||||
|
"output_usd": "0.0283475",
|
||||||
|
"web_search_usd": "0.395",
|
||||||
|
"input_tokens": 598787,
|
||||||
|
"cached_input_tokens": 252672,
|
||||||
|
"output_tokens": 11339,
|
||||||
|
"reasoning_tokens": 0,
|
||||||
|
"web_search_calls": 79,
|
||||||
|
"mean_total_tokens": "50843.83333333333333333333333",
|
||||||
|
"median_seconds": 12.383,
|
||||||
|
"case_bootstrap_95_range": [
|
||||||
|
69.96543401558118,
|
||||||
|
76.11276600401955
|
||||||
|
]
|
||||||
|
},
|
||||||
|
"xai.grok-4.20-reasoning": {
|
||||||
|
"model": "xai.grok-4.20-reasoning",
|
||||||
|
"configuration": "grok-4.20-reasoning",
|
||||||
|
"score": 72.23809313842376,
|
||||||
|
"by_category": {
|
||||||
|
"culinaria": 63.908826140174874,
|
||||||
|
"esportes": 68.14352956483388,
|
||||||
|
"clima": 69.00759929665293,
|
||||||
|
"entretenimento": 87.89241755203336
|
||||||
|
},
|
||||||
|
"operational_gate_passed": true,
|
||||||
|
"passed": true,
|
||||||
|
"interactions": 12,
|
||||||
|
"known_costs": 12,
|
||||||
|
"reliable_searches": 12,
|
||||||
|
"total_usd": "0.72970235",
|
||||||
|
"mean_usd": "0.06080852916666666666666666667",
|
||||||
|
"input_usd": "0.34650875",
|
||||||
|
"cached_input_usd": "0.0276736",
|
||||||
|
"output_usd": "0.0755200",
|
||||||
|
"web_search_usd": "0.280",
|
||||||
|
"input_tokens": 415575,
|
||||||
|
"cached_input_tokens": 138368,
|
||||||
|
"output_tokens": 30208,
|
||||||
|
"reasoning_tokens": 22140,
|
||||||
|
"web_search_calls": 56,
|
||||||
|
"mean_total_tokens": "37148.58333333333333333333333",
|
||||||
|
"median_seconds": 29.1545,
|
||||||
|
"case_bootstrap_95_range": [
|
||||||
|
69.52862471644511,
|
||||||
|
75.30139296340401
|
||||||
|
]
|
||||||
|
},
|
||||||
|
"xai.grok-4.3": {
|
||||||
|
"model": "xai.grok-4.3",
|
||||||
|
"configuration": "grok-4.3",
|
||||||
|
"score": 97.14903660620999,
|
||||||
|
"by_category": {
|
||||||
|
"culinaria": 100.0,
|
||||||
|
"esportes": 99.2752401820327,
|
||||||
|
"clima": 98.54118555711648,
|
||||||
|
"entretenimento": 90.7797206856908
|
||||||
|
},
|
||||||
|
"operational_gate_passed": true,
|
||||||
|
"passed": true,
|
||||||
|
"interactions": 12,
|
||||||
|
"known_costs": 12,
|
||||||
|
"reliable_searches": 12,
|
||||||
|
"total_usd": "0.50883360",
|
||||||
|
"mean_usd": "0.04240280",
|
||||||
|
"input_usd": "0.27343750",
|
||||||
|
"cached_input_usd": "0.0065536",
|
||||||
|
"output_usd": "0.0338425",
|
||||||
|
"web_search_usd": "0.195",
|
||||||
|
"input_tokens": 251518,
|
||||||
|
"cached_input_tokens": 32768,
|
||||||
|
"output_tokens": 13537,
|
||||||
|
"reasoning_tokens": 8045,
|
||||||
|
"web_search_calls": 39,
|
||||||
|
"mean_total_tokens": "22087.91666666666666666666667",
|
||||||
|
"median_seconds": 11.370000000000001,
|
||||||
|
"case_bootstrap_95_range": [
|
||||||
|
95.68117500841532,
|
||||||
|
99.30834306882593
|
||||||
|
]
|
||||||
|
},
|
||||||
|
"xai.grok-4.6": {
|
||||||
|
"model": "xai.grok-4.6",
|
||||||
|
"configuration": "grok-4.6",
|
||||||
|
"score": 45.50858471800458,
|
||||||
|
"by_category": {
|
||||||
|
"culinaria": 43.367917278455145,
|
||||||
|
"esportes": 47.432918850592024,
|
||||||
|
"clima": 44.64205288452623,
|
||||||
|
"entretenimento": 46.59144985844491
|
||||||
|
},
|
||||||
|
"operational_gate_passed": true,
|
||||||
|
"passed": false,
|
||||||
|
"interactions": 12,
|
||||||
|
"known_costs": 12,
|
||||||
|
"reliable_searches": 12,
|
||||||
|
"total_usd": "2.007070",
|
||||||
|
"mean_usd": "0.1672558333333333333333333333",
|
||||||
|
"input_usd": "1.049170",
|
||||||
|
"cached_input_usd": "0.223872",
|
||||||
|
"output_usd": "0.254028",
|
||||||
|
"web_search_usd": "0.480",
|
||||||
|
"input_tokens": 972329,
|
||||||
|
"cached_input_tokens": 447744,
|
||||||
|
"output_tokens": 42338,
|
||||||
|
"reasoning_tokens": 35045,
|
||||||
|
"web_search_calls": 96,
|
||||||
|
"mean_total_tokens": "84555.58333333333333333333333",
|
||||||
|
"median_seconds": 65.825,
|
||||||
|
"case_bootstrap_95_range": [
|
||||||
|
43.91545712499182,
|
||||||
|
47.38907940711982
|
||||||
|
]
|
||||||
|
},
|
||||||
|
"xai.grok-4.7": {
|
||||||
|
"model": "xai.grok-4.7",
|
||||||
|
"configuration": "grok-4.7",
|
||||||
|
"score": 43.344240404465566,
|
||||||
|
"by_category": {
|
||||||
|
"culinaria": 43.532006898649726,
|
||||||
|
"esportes": 45.84946646230471,
|
||||||
|
"clima": 41.33823470020622,
|
||||||
|
"entretenimento": 42.657253556701605
|
||||||
|
},
|
||||||
|
"operational_gate_passed": true,
|
||||||
|
"passed": false,
|
||||||
|
"interactions": 12,
|
||||||
|
"known_costs": 12,
|
||||||
|
"reliable_searches": 12,
|
||||||
|
"total_usd": "3.638344",
|
||||||
|
"mean_usd": "0.3031953333333333333333333333",
|
||||||
|
"input_usd": "1.717296",
|
||||||
|
"cached_input_usd": "0.838976",
|
||||||
|
"output_usd": "0.447072",
|
||||||
|
"web_search_usd": "0.635",
|
||||||
|
"input_tokens": 1796319,
|
||||||
|
"cached_input_tokens": 1141248,
|
||||||
|
"output_tokens": 52107,
|
||||||
|
"reasoning_tokens": 42224,
|
||||||
|
"web_search_calls": 127,
|
||||||
|
"mean_total_tokens": "154035.5",
|
||||||
|
"median_seconds": 50.155,
|
||||||
|
"case_bootstrap_95_range": [
|
||||||
|
40.6144424835464,
|
||||||
|
46.40546441452118
|
||||||
|
]
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"configurations": [
|
||||||
|
{
|
||||||
|
"configuration": "grok-4.3",
|
||||||
|
"members": [
|
||||||
|
"xai.grok-4.3"
|
||||||
|
],
|
||||||
|
"score": 97.14903660620999,
|
||||||
|
"operational_gate_passed": true,
|
||||||
|
"passed": true,
|
||||||
|
"interactions": 12,
|
||||||
|
"known_costs": 12,
|
||||||
|
"reliable_searches": 12,
|
||||||
|
"total_usd": "0.50883360",
|
||||||
|
"mean_usd": "0.04240280",
|
||||||
|
"input_usd": "0.27343750",
|
||||||
|
"cached_input_usd": "0.0065536",
|
||||||
|
"output_usd": "0.0338425",
|
||||||
|
"web_search_usd": "0.195",
|
||||||
|
"input_tokens": 251518,
|
||||||
|
"cached_input_tokens": 32768,
|
||||||
|
"output_tokens": 13537,
|
||||||
|
"reasoning_tokens": 8045,
|
||||||
|
"web_search_calls": 39,
|
||||||
|
"mean_total_tokens": "22087.91666666666666666666667",
|
||||||
|
"median_seconds": 11.370000000000001,
|
||||||
|
"case_bootstrap_95_range": [
|
||||||
|
95.68117500841532,
|
||||||
|
99.30834306882593
|
||||||
|
],
|
||||||
|
"bootstrap_top2_frequency": 1.0
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"configuration": "grok-4.20-non-reasoning",
|
||||||
|
"members": [
|
||||||
|
"xai.grok-4.20-0309-non-reasoning",
|
||||||
|
"xai.grok-4.20-non-reasoning"
|
||||||
|
],
|
||||||
|
"score": 73.38605779184044,
|
||||||
|
"operational_gate_passed": true,
|
||||||
|
"passed": true,
|
||||||
|
"interactions": 24,
|
||||||
|
"known_costs": 24,
|
||||||
|
"reliable_searches": 24,
|
||||||
|
"total_usd": "1.78103450",
|
||||||
|
"mean_usd": "0.07420977083333333333333333333",
|
||||||
|
"input_usd": "0.81782500",
|
||||||
|
"cached_input_usd": "0.1041920",
|
||||||
|
"output_usd": "0.0590175",
|
||||||
|
"web_search_usd": "0.800",
|
||||||
|
"input_tokens": 1175220,
|
||||||
|
"cached_input_tokens": 520960,
|
||||||
|
"output_tokens": 23607,
|
||||||
|
"reasoning_tokens": 0,
|
||||||
|
"web_search_calls": 160,
|
||||||
|
"mean_total_tokens": "49951.125",
|
||||||
|
"median_seconds": 12.6395,
|
||||||
|
"case_bootstrap_95_range": [
|
||||||
|
70.7982235073648,
|
||||||
|
76.06598395249495
|
||||||
|
],
|
||||||
|
"bootstrap_top2_frequency": 0.9975
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"configuration": "grok-4.20-reasoning",
|
||||||
|
"members": [
|
||||||
|
"xai.grok-4.20-0309-reasoning",
|
||||||
|
"xai.grok-4.20-reasoning"
|
||||||
|
],
|
||||||
|
"score": 70.08207612616388,
|
||||||
|
"operational_gate_passed": true,
|
||||||
|
"passed": true,
|
||||||
|
"interactions": 24,
|
||||||
|
"known_costs": 24,
|
||||||
|
"reliable_searches": 24,
|
||||||
|
"total_usd": "1.52288675",
|
||||||
|
"mean_usd": "0.06345361458333333333333333333",
|
||||||
|
"input_usd": "0.71823625",
|
||||||
|
"cached_input_usd": "0.0654080",
|
||||||
|
"output_usd": "0.1592425",
|
||||||
|
"web_search_usd": "0.580",
|
||||||
|
"input_tokens": 901629,
|
||||||
|
"cached_input_tokens": 327040,
|
||||||
|
"output_tokens": 63697,
|
||||||
|
"reasoning_tokens": 46687,
|
||||||
|
"web_search_calls": 116,
|
||||||
|
"mean_total_tokens": "40221.91666666666666666666667",
|
||||||
|
"median_seconds": 29.606,
|
||||||
|
"case_bootstrap_95_range": [
|
||||||
|
67.02618846363141,
|
||||||
|
73.23189119873403
|
||||||
|
],
|
||||||
|
"bootstrap_top2_frequency": 0.0
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"configuration": "grok-4.6",
|
||||||
|
"members": [
|
||||||
|
"xai.grok-4.6"
|
||||||
|
],
|
||||||
|
"score": 45.50858471800458,
|
||||||
|
"operational_gate_passed": true,
|
||||||
|
"passed": false,
|
||||||
|
"interactions": 12,
|
||||||
|
"known_costs": 12,
|
||||||
|
"reliable_searches": 12,
|
||||||
|
"total_usd": "2.007070",
|
||||||
|
"mean_usd": "0.1672558333333333333333333333",
|
||||||
|
"input_usd": "1.049170",
|
||||||
|
"cached_input_usd": "0.223872",
|
||||||
|
"output_usd": "0.254028",
|
||||||
|
"web_search_usd": "0.480",
|
||||||
|
"input_tokens": 972329,
|
||||||
|
"cached_input_tokens": 447744,
|
||||||
|
"output_tokens": 42338,
|
||||||
|
"reasoning_tokens": 35045,
|
||||||
|
"web_search_calls": 96,
|
||||||
|
"mean_total_tokens": "84555.58333333333333333333333",
|
||||||
|
"median_seconds": 65.825,
|
||||||
|
"case_bootstrap_95_range": [
|
||||||
|
43.91545712499182,
|
||||||
|
47.38907940711982
|
||||||
|
],
|
||||||
|
"bootstrap_top2_frequency": 0.0
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"configuration": "grok-4.7",
|
||||||
|
"members": [
|
||||||
|
"xai.grok-4.7"
|
||||||
|
],
|
||||||
|
"score": 43.344240404465566,
|
||||||
|
"operational_gate_passed": true,
|
||||||
|
"passed": false,
|
||||||
|
"interactions": 12,
|
||||||
|
"known_costs": 12,
|
||||||
|
"reliable_searches": 12,
|
||||||
|
"total_usd": "3.638344",
|
||||||
|
"mean_usd": "0.3031953333333333333333333333",
|
||||||
|
"input_usd": "1.717296",
|
||||||
|
"cached_input_usd": "0.838976",
|
||||||
|
"output_usd": "0.447072",
|
||||||
|
"web_search_usd": "0.635",
|
||||||
|
"input_tokens": 1796319,
|
||||||
|
"cached_input_tokens": 1141248,
|
||||||
|
"output_tokens": 52107,
|
||||||
|
"reasoning_tokens": 42224,
|
||||||
|
"web_search_calls": 127,
|
||||||
|
"mean_total_tokens": "154035.5",
|
||||||
|
"median_seconds": 50.155,
|
||||||
|
"case_bootstrap_95_range": [
|
||||||
|
40.6144424835464,
|
||||||
|
46.40546441452118
|
||||||
|
],
|
||||||
|
"bootstrap_top2_frequency": 0.0
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"selected_configurations": [
|
||||||
|
"grok-4.3",
|
||||||
|
"grok-4.20-non-reasoning"
|
||||||
|
],
|
||||||
|
"original_selection_confirmed": true,
|
||||||
|
"cache_discount_sensitivity": {
|
||||||
|
"secondary": true,
|
||||||
|
"method": "Mesmos tokens e latências observados; entrada em cache reprecificada como entrada normal, sem novas chamadas. Não simula execução fisicamente sem cache.",
|
||||||
|
"selected_configurations": [
|
||||||
|
"grok-4.3"
|
||||||
|
],
|
||||||
|
"configurations": [
|
||||||
|
{
|
||||||
|
"configuration": "grok-4.3",
|
||||||
|
"members": [
|
||||||
|
"xai.grok-4.3"
|
||||||
|
],
|
||||||
|
"score": 97.04049195066246,
|
||||||
|
"operational_gate_passed": true,
|
||||||
|
"passed": true,
|
||||||
|
"interactions": 12,
|
||||||
|
"known_costs": 12,
|
||||||
|
"reliable_searches": 12,
|
||||||
|
"total_usd": "0.54324000",
|
||||||
|
"mean_usd": "0.04527000",
|
||||||
|
"input_usd": "0.31439750",
|
||||||
|
"cached_input_usd": "0",
|
||||||
|
"output_usd": "0.0338425",
|
||||||
|
"web_search_usd": "0.195",
|
||||||
|
"input_tokens": 251518,
|
||||||
|
"cached_input_tokens": 32768,
|
||||||
|
"output_tokens": 13537,
|
||||||
|
"reasoning_tokens": 8045,
|
||||||
|
"web_search_calls": 39,
|
||||||
|
"mean_total_tokens": "22087.91666666666666666666667",
|
||||||
|
"median_seconds": 11.370000000000001,
|
||||||
|
"case_bootstrap_95_range": [
|
||||||
|
95.20345769097861,
|
||||||
|
99.30834306882593
|
||||||
|
],
|
||||||
|
"bootstrap_top2_frequency": 1.0
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"configuration": "grok-4.20-non-reasoning",
|
||||||
|
"members": [
|
||||||
|
"xai.grok-4.20-0309-non-reasoning",
|
||||||
|
"xai.grok-4.20-non-reasoning"
|
||||||
|
],
|
||||||
|
"score": 67.93084405713441,
|
||||||
|
"operational_gate_passed": true,
|
||||||
|
"passed": false,
|
||||||
|
"interactions": 24,
|
||||||
|
"known_costs": 24,
|
||||||
|
"reliable_searches": 24,
|
||||||
|
"total_usd": "2.32804250",
|
||||||
|
"mean_usd": "0.09700177083333333333333333333",
|
||||||
|
"input_usd": "1.46902500",
|
||||||
|
"cached_input_usd": "0",
|
||||||
|
"output_usd": "0.0590175",
|
||||||
|
"web_search_usd": "0.800",
|
||||||
|
"input_tokens": 1175220,
|
||||||
|
"cached_input_tokens": 520960,
|
||||||
|
"output_tokens": 23607,
|
||||||
|
"reasoning_tokens": 0,
|
||||||
|
"web_search_calls": 160,
|
||||||
|
"mean_total_tokens": "49951.125",
|
||||||
|
"median_seconds": 12.6395,
|
||||||
|
"case_bootstrap_95_range": [
|
||||||
|
65.13208173487911,
|
||||||
|
70.85715751322269
|
||||||
|
],
|
||||||
|
"bootstrap_top2_frequency": 0.0905
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"configuration": "grok-4.20-reasoning",
|
||||||
|
"members": [
|
||||||
|
"xai.grok-4.20-0309-reasoning",
|
||||||
|
"xai.grok-4.20-reasoning"
|
||||||
|
],
|
||||||
|
"score": 65.5062227964728,
|
||||||
|
"operational_gate_passed": true,
|
||||||
|
"passed": false,
|
||||||
|
"interactions": 24,
|
||||||
|
"known_costs": 24,
|
||||||
|
"reliable_searches": 24,
|
||||||
|
"total_usd": "1.86627875",
|
||||||
|
"mean_usd": "0.07776161458333333333333333333",
|
||||||
|
"input_usd": "1.12703625",
|
||||||
|
"cached_input_usd": "0",
|
||||||
|
"output_usd": "0.1592425",
|
||||||
|
"web_search_usd": "0.580",
|
||||||
|
"input_tokens": 901629,
|
||||||
|
"cached_input_tokens": 327040,
|
||||||
|
"output_tokens": 63697,
|
||||||
|
"reasoning_tokens": 46687,
|
||||||
|
"web_search_calls": 116,
|
||||||
|
"mean_total_tokens": "40221.91666666666666666666667",
|
||||||
|
"median_seconds": 29.606,
|
||||||
|
"case_bootstrap_95_range": [
|
||||||
|
63.234031445180484,
|
||||||
|
67.79390479015198
|
||||||
|
],
|
||||||
|
"bootstrap_top2_frequency": 0.0
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"configuration": "grok-4.6",
|
||||||
|
"members": [
|
||||||
|
"xai.grok-4.6"
|
||||||
|
],
|
||||||
|
"score": 43.10385037403032,
|
||||||
|
"operational_gate_passed": true,
|
||||||
|
"passed": false,
|
||||||
|
"interactions": 12,
|
||||||
|
"known_costs": 12,
|
||||||
|
"reliable_searches": 12,
|
||||||
|
"total_usd": "2.678686",
|
||||||
|
"mean_usd": "0.2232238333333333333333333333",
|
||||||
|
"input_usd": "1.944658",
|
||||||
|
"cached_input_usd": "0",
|
||||||
|
"output_usd": "0.254028",
|
||||||
|
"web_search_usd": "0.480",
|
||||||
|
"input_tokens": 972329,
|
||||||
|
"cached_input_tokens": 447744,
|
||||||
|
"output_tokens": 42338,
|
||||||
|
"reasoning_tokens": 35045,
|
||||||
|
"web_search_calls": 96,
|
||||||
|
"mean_total_tokens": "84555.58333333333333333333333",
|
||||||
|
"median_seconds": 65.825,
|
||||||
|
"case_bootstrap_95_range": [
|
||||||
|
41.369607075039134,
|
||||||
|
45.069965045507836
|
||||||
|
],
|
||||||
|
"bootstrap_top2_frequency": 0.0
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"configuration": "grok-4.7",
|
||||||
|
"members": [
|
||||||
|
"xai.grok-4.7"
|
||||||
|
],
|
||||||
|
"score": 40.876305988100796,
|
||||||
|
"operational_gate_passed": true,
|
||||||
|
"passed": false,
|
||||||
|
"interactions": 12,
|
||||||
|
"known_costs": 12,
|
||||||
|
"reliable_searches": 12,
|
||||||
|
"total_usd": "6.155272",
|
||||||
|
"mean_usd": "0.5129393333333333333333333333",
|
||||||
|
"input_usd": "5.073200",
|
||||||
|
"cached_input_usd": "0",
|
||||||
|
"output_usd": "0.447072",
|
||||||
|
"web_search_usd": "0.635",
|
||||||
|
"input_tokens": 1796319,
|
||||||
|
"cached_input_tokens": 1141248,
|
||||||
|
"output_tokens": 52107,
|
||||||
|
"reasoning_tokens": 42224,
|
||||||
|
"web_search_calls": 127,
|
||||||
|
"mean_total_tokens": "154035.5",
|
||||||
|
"median_seconds": 50.155,
|
||||||
|
"case_bootstrap_95_range": [
|
||||||
|
38.39072454922838,
|
||||||
|
43.65534628382452
|
||||||
|
],
|
||||||
|
"bootstrap_top2_frequency": 0.0
|
||||||
|
}
|
||||||
|
]
|
||||||
|
},
|
||||||
|
"original_selection": [
|
||||||
|
"grok-4.3",
|
||||||
|
"grok-4.20-non-reasoning"
|
||||||
|
],
|
||||||
|
"conclusion": "A amostra confirma os dois candidatos originais segundo a regra operacional congelada.",
|
||||||
|
"limits": "Nota operacional relativa, sem pontuação factual. Auditoria retrospectiva; 12 casos não permitem inferir o resultado de 100 intenções nos demais modelos."
|
||||||
|
}
|
||||||
153
benchmarks/screening/run_screening.py
Normal file
153
benchmarks/screening/run_screening.py
Normal file
@@ -0,0 +1,153 @@
|
|||||||
|
"""Auditoria retrospectiva: 12 prompts x 7 IDs OCI; sem retry automático; dry run por padrão."""
|
||||||
|
import argparse
|
||||||
|
from concurrent.futures import ThreadPoolExecutor
|
||||||
|
from datetime import datetime, timezone
|
||||||
|
from decimal import Decimal
|
||||||
|
import fcntl
|
||||||
|
import hashlib
|
||||||
|
import json
|
||||||
|
import os
|
||||||
|
from pathlib import Path
|
||||||
|
import sys
|
||||||
|
import time
|
||||||
|
from collections import Counter
|
||||||
|
|
||||||
|
ROOT=Path(__file__).resolve().parent
|
||||||
|
sys.path.insert(0,str(ROOT.parent))
|
||||||
|
import run_benchmark as core
|
||||||
|
|
||||||
|
MODELS=['xai.grok-4.20-0309-non-reasoning','xai.grok-4.20-0309-reasoning',
|
||||||
|
'xai.grok-4.20-non-reasoning','xai.grok-4.20-reasoning',
|
||||||
|
'xai.grok-4.3','xai.grok-4.6','xai.grok-4.7']
|
||||||
|
D=lambda value:Decimal(str(value))
|
||||||
|
|
||||||
|
def check_dataset(data):
|
||||||
|
assert len(data['intents'])==12
|
||||||
|
assert len({row['id'] for row in data['intents']})==12
|
||||||
|
for category in ['culinaria','esportes','clima','entretenimento']:
|
||||||
|
assert sum(row['category']==category for row in data['intents'])==3
|
||||||
|
for row in data['intents']:
|
||||||
|
assert hashlib.sha256(row['prompt'].encode()).hexdigest()==row['prompt_sha256']
|
||||||
|
|
||||||
|
def read_results(events):
|
||||||
|
rows=[]
|
||||||
|
positions={}
|
||||||
|
for event in events:
|
||||||
|
if event['event']=='finished':
|
||||||
|
row=event['result'];key=(row['intent_id'],row['model'])
|
||||||
|
assert key not in positions,'Resultado duplicado'
|
||||||
|
positions[key]=len(rows);rows.append(row)
|
||||||
|
elif event['event']=='cost_reconciled':
|
||||||
|
row=event['result'];key=(row['intent_id'],row['model'])
|
||||||
|
assert key in positions
|
||||||
|
original=rows[positions[key]]
|
||||||
|
assert original['cost'].get('total_usd') is None
|
||||||
|
assert original['usage']==row['usage'] and original['shared_payload_sha256']==row['shared_payload_sha256']
|
||||||
|
rows[positions[key]]=row
|
||||||
|
elif event['event']=='infrastructure_rejected':
|
||||||
|
key=(event['intent_id'],event['model'])
|
||||||
|
assert key in positions
|
||||||
|
original=rows[positions[key]]
|
||||||
|
assert original.get('http')==429 and original['cost'].get('total_usd') is None
|
||||||
|
rows.pop(positions[key])
|
||||||
|
positions={(r['intent_id'],r['model']):index for index,r in enumerate(rows)}
|
||||||
|
return rows
|
||||||
|
|
||||||
|
def invoke(model,intent,base,headers,prices,folder):
|
||||||
|
result=core.invoke(model,intent,base,headers,prices,folder)
|
||||||
|
raw=folder/f"{intent['id']}-{model}.json"
|
||||||
|
data=json.loads(raw.read_text()) if raw.exists() else {}
|
||||||
|
text='\n'.join(content.get('text','') for item in data.get('output',[])
|
||||||
|
if item.get('type')=='message' for content in item.get('content',[])
|
||||||
|
if content.get('type')=='output_text')
|
||||||
|
truncated=bool(data.get('incomplete_details')) or data.get('status') in ['incomplete','failed','cancelled']
|
||||||
|
result['final_answer_chars']=len(text)
|
||||||
|
result['truncated']=truncated
|
||||||
|
result['reliable_search']=bool(result.get('websearch_confirmed') and text.strip() and not truncated
|
||||||
|
and result['cost'].get('total_usd') is not None)
|
||||||
|
return result
|
||||||
|
|
||||||
|
def main():
|
||||||
|
parser=argparse.ArgumentParser()
|
||||||
|
parser.add_argument('--execute',action='store_true')
|
||||||
|
parser.add_argument('--budget-total-usd',type=Decimal)
|
||||||
|
parser.add_argument('--run-id',default='screening-2026-10-15-v1')
|
||||||
|
parser.add_argument('--intent-limit',type=int,default=12)
|
||||||
|
parser.add_argument('--cooldown-seconds',type=int,default=75)
|
||||||
|
args=parser.parse_args()
|
||||||
|
assert 1<=args.intent_limit<=12
|
||||||
|
assert args.run_id and all(c.isalnum() or c in '-_' for c in args.run_id)
|
||||||
|
dataset=json.loads((ROOT/'intents-12.json').read_text())
|
||||||
|
prices=json.loads((ROOT/'oracle-prices.json').read_text())
|
||||||
|
rules=json.loads((ROOT/'scoring-rules.json').read_text())
|
||||||
|
study=json.loads((ROOT/'study.json').read_text())
|
||||||
|
check_dataset(dataset)
|
||||||
|
assert sum(D(v) for v in rules['weights'].values())==1
|
||||||
|
assert D(rules['category_weight'])*4==1
|
||||||
|
print('12 intenções x 7 IDs = 84 respostas previstas; concorrência 2; sem retries automáticos (recuperações documentadas à parte).',flush=True)
|
||||||
|
if not args.execute:
|
||||||
|
print('Dry run: nenhuma inferência.');return
|
||||||
|
assert args.budget_total_usd and args.budget_total_usd>D(study['baseline_cost_usd'])
|
||||||
|
base=os.environ['OCI_BASE_URL'].rstrip('/')
|
||||||
|
assert base=='https://inference.generativeai.us-chicago-1.oci.oraclecloud.com/v1'
|
||||||
|
headers={'Authorization':'Bearer '+os.environ['OCI_API_KEY'],'OpenAI-Project':os.environ['OCI_PROJECT_ID']}
|
||||||
|
folder=ROOT.parent/'runs'/args.run_id;folder.mkdir(parents=True,exist_ok=True)
|
||||||
|
lock=(folder/'run.lock').open('w');fcntl.flock(lock,fcntl.LOCK_EX|fcntl.LOCK_NB)
|
||||||
|
raw=folder/'raw';raw.mkdir(exist_ok=True)
|
||||||
|
manifest={'dataset_sha256':core.digest(dataset),'prices_sha256':core.digest(prices),
|
||||||
|
'rules_sha256':core.digest(rules),'study_sha256':core.digest(study),
|
||||||
|
'system_sha256':hashlib.sha256(core.SYSTEM.encode()).hexdigest(),
|
||||||
|
'protocol_sha256':hashlib.sha256((ROOT/'PROTOCOLO.md').read_bytes()).hexdigest(),
|
||||||
|
'models':MODELS,'reference_date':dataset['reference_date'],'concurrency':2,
|
||||||
|
'max_output_tokens':2400,'timeout_seconds':150,'retries':0,
|
||||||
|
'region':'us-chicago-1','endpoint':'/v1/responses','retrospective':True}
|
||||||
|
path=folder/'manifest.json'
|
||||||
|
if path.exists():assert json.loads(path.read_text())==manifest,'Manifesto alterado'
|
||||||
|
else:path.write_text(json.dumps(manifest,ensure_ascii=False,indent=2)+'\n')
|
||||||
|
log=folder/'events.jsonl'
|
||||||
|
events=[json.loads(line) for line in log.read_text().splitlines()] if log.exists() else []
|
||||||
|
rows=read_results(events)
|
||||||
|
done={(r['intent_id'],r['model']) for r in rows}
|
||||||
|
starts=Counter((e['intent_id'],e['model']) for e in events if e['event']=='started')
|
||||||
|
finishes=Counter((e['result']['intent_id'],e['result']['model']) for e in events if e['event']=='finished')
|
||||||
|
assert len(done)==len(rows) and starts==finishes,'Chamadas interrompidas ou duplicadas; revisar antes de continuar'
|
||||||
|
assert 0<=args.cooldown_seconds<=300
|
||||||
|
rejected=[e for e in events if e['event']=='infrastructure_rejected']
|
||||||
|
reserve=D('.50')
|
||||||
|
def used():return D(study['baseline_cost_usd'])+reserve*len(rejected)+sum(D(r['cost']['total_usd']) if r.get('cost',{}).get('total_usd') is not None else reserve for r in rows)
|
||||||
|
with ThreadPoolExecutor(max_workers=2) as pool:
|
||||||
|
for index,intent in enumerate(dataset['intents'][:args.intent_limit]):
|
||||||
|
# Rotação reduz associação entre identificador e posição de envio.
|
||||||
|
rotated=MODELS[index%7:]+MODELS[:index%7]
|
||||||
|
pending=[m for m in rotated if (intent['id'],m) not in done]
|
||||||
|
if not pending:continue
|
||||||
|
if used()+reserve*len(pending)>args.budget_total_usd:
|
||||||
|
print('STOP: limite acumulado, sem reserva para o próximo grupo.',flush=True);break
|
||||||
|
if any(e['event']=='finished' for e in events) and args.cooldown_seconds:
|
||||||
|
print(f'Controle de taxa: pausa de {args.cooldown_seconds}s antes do grupo {intent["id"]}.',flush=True)
|
||||||
|
remaining=args.cooldown_seconds
|
||||||
|
while remaining:
|
||||||
|
step=min(15,remaining);time.sleep(step);remaining-=step
|
||||||
|
futures=[]
|
||||||
|
for model in pending:
|
||||||
|
key=(intent['id'],model)
|
||||||
|
assert starts[key]<2,'Recuperação limitada a uma repetição após 429 documentado'
|
||||||
|
if starts[key]:
|
||||||
|
assert any(e['intent_id']==intent['id'] and e['model']==model for e in rejected),'Repetição sem rejeição infra documentada'
|
||||||
|
starts[key]+=1
|
||||||
|
|
||||||
|
core.append_event(log,{'event':'started','intent_id':intent['id'],'model':model,'at':datetime.now(timezone.utc).isoformat()})
|
||||||
|
futures.append(pool.submit(invoke,model,intent,base,headers,prices,raw))
|
||||||
|
stop=False
|
||||||
|
for future in futures:
|
||||||
|
row=future.result();rows.append(row);done.add((row['intent_id'],row['model']))
|
||||||
|
core.append_event(log,{'event':'finished','result':row})
|
||||||
|
events.append({'event':'finished','result':row})
|
||||||
|
print(f"{len(rows)}/84 {row['intent_id']} {row['model']} HTTP={row.get('http')} confiável={row['reliable_search']} USD={row['cost'].get('total_usd','unknown')}",flush=True)
|
||||||
|
stop|=row.get('http')!=200 or row.get('cost',{}).get('total_usd') is None
|
||||||
|
if stop:
|
||||||
|
print('STOP: diagnóstico necessário; não haverá repetição automática.',flush=True);break
|
||||||
|
total=sum(D(r['cost']['total_usd']) for r in rows if r.get('cost',{}).get('total_usd') is not None)
|
||||||
|
print(f'Concluídas={len(rows)}/84; custo conhecido US$ {total}; histórico acumulado conhecido US$ {D(study["baseline_cost_usd"])+total}',flush=True)
|
||||||
|
|
||||||
|
if __name__=='__main__':main()
|
||||||
24
benchmarks/screening/scoring-rules.json
Normal file
24
benchmarks/screening/scoring-rules.json
Normal file
@@ -0,0 +1,24 @@
|
|||||||
|
{
|
||||||
|
"version": "v1",
|
||||||
|
"retrospective": true,
|
||||||
|
"weights": {
|
||||||
|
"cost": 0.5,
|
||||||
|
"search_reliability": 0.3,
|
||||||
|
"latency": 0.2
|
||||||
|
},
|
||||||
|
"category_weight": 0.25,
|
||||||
|
"cutoff_score": 70,
|
||||||
|
"minimum_confirmed_searches": 11,
|
||||||
|
"required_known_costs": 12,
|
||||||
|
"primary_score": "Por intenção: 100*(0.50*menor_custo/custo_modelo + 0.30*busca_confiável + 0.20*menor_latência/latência_modelo). Eficiência recebe zero quando a busca não é confiável. Média de três intenções por tema; cada tema pesa 25%.",
|
||||||
|
"reliability": "HTTP 200, custo conhecido, busca completed com fontes e citações, texto final não vazio e resposta não truncada; não é nota de correção factual.",
|
||||||
|
"normalization": "Melhor custo e melhor latência entre respostas confiáveis da mesma intenção; falhas não entram como melhores.",
|
||||||
|
"aliases": "Notas dos IDs da mesma configuração são promediadas; ambos devem satisfazer os gates. Selecionar duas configurações distintas com nota >=70, por ordem de nota. Não forçar dois aprovados.",
|
||||||
|
"ties": [
|
||||||
|
"menor custo médio por interação",
|
||||||
|
"menor mediana de latência",
|
||||||
|
"nome da configuração em ordem alfabética"
|
||||||
|
],
|
||||||
|
"sampling": "12 consultas: três por tema; seleção usa apenas hashes dos prompts, sem acesso aos resultados financeiros na função de seleção.",
|
||||||
|
"uncertainty": "Bootstrap estratificado e pareado de 2000 reamostragens, seed 20261015; intervalo descritivo de variabilidade de casos, não confiança populacional nem avaliação factual."
|
||||||
|
}
|
||||||
14
benchmarks/screening/study.json
Normal file
14
benchmarks/screening/study.json
Normal file
@@ -0,0 +1,14 @@
|
|||||||
|
{
|
||||||
|
"scope": "Pré-teste retrospectivo de 12 prompts iguais por identificador; não altera a história da seleção original.",
|
||||||
|
"baseline_calls": 210,
|
||||||
|
"baseline_cost_usd": "11.50527390",
|
||||||
|
"baseline_source": "../financial-consolidation.json",
|
||||||
|
"expected_calls": 84,
|
||||||
|
"expected_total_calls_after": 294,
|
||||||
|
"new_inference_estimate_usd": [
|
||||||
|
5,
|
||||||
|
10
|
||||||
|
],
|
||||||
|
"baseline_financial_sha256": "f21cc006fbdab19431617c3a277a2a9a7a97a98ba8e8e74dcb3ca5aaff05958f",
|
||||||
|
"baseline_git_commit": "5510f2d45f93b8a73bc532e2092dad13e72fcc62"
|
||||||
|
}
|
||||||
Reference in New Issue
Block a user