mirror of
https://github.com/mcloh/poc-grok-websearch.git
synced 2026-11-06 06:14:11 +00:00
Add OCI Grok web-search chatbot example and selected validation evidence
This commit is contained in:
21
evidence/RELATORIO.md
Normal file
21
evidence/RELATORIO.md
Normal file
@@ -0,0 +1,21 @@
|
||||
# Validação — 14/10/2026
|
||||
|
||||
A POC foi publicada em uma VM OCI e testada por HTTPS. O resumo compartilhável está em [validation-summary.json](validation-summary.json).
|
||||
|
||||
| Critério | Resultado |
|
||||
|---|---|
|
||||
| REST sobre notícia de hoje | HTTP 200; 36,12 segundos |
|
||||
| Serviço e modelo | OCI Chicago; xai.grok-4.3 |
|
||||
| Busca nativa | Duas buscas concluídas e uma abertura de página; uma tentativa inicial falhou |
|
||||
| Citações | Duas citações da mesma notícia |
|
||||
| Fonte verificada independentemente | HTTP 200; data visível 14/10/2026 às 08:17 |
|
||||
| Acesso não autenticado | HTTP 401 |
|
||||
| Histórico com papel inválido | HTTP 422 |
|
||||
| Desktop e celular | Sem erros de JavaScript e sem overflow horizontal |
|
||||
| Renderização | Resposta REST real usada como fixture; texto e links conferidos |
|
||||
|
||||
Fonte: [Agência Brasil — Confira a agenda dos presidenciáveis nesta quarta-feira (14)](https://agenciabrasil.ebc.com.br/politica/noticia/2026-10/confira-agenda-dos-presidenciaveis-nesta-quarta-feira-14). A data coincide no texto visível e no metadado; o horário difere (08:17 no texto e 11:17 no metadado). O resumo registra o horário visível.
|
||||
|
||||
A ferramenta executou uma busca inicial que falhou, reformulou consultas e concluiu a pesquisa. As respostas brutas, identificadores OCI, capturas e cópia integral da fonte permanecem locais e não são versionados. O SHA-256 da fonte permite conferir o artefato local.
|
||||
|
||||
A chamada final consumiu 15.544 tokens. Incluindo os diagnósticos bem-sucedidos, foram 34.829 tokens e nove ferramentas contabilizadas pelo serviço. A escala financeira de cost_in_usd_ticks não foi verificada; o campo é preservado sem conversão para dólares.
|
||||
78
evidence/validation-summary.json
Normal file
78
evidence/validation-summary.json
Normal file
@@ -0,0 +1,78 @@
|
||||
{
|
||||
"tested_at": "2026-10-14T10:34:33.339815-03:00",
|
||||
"http": 200,
|
||||
"seconds": 37.25,
|
||||
"provider": "OCI",
|
||||
"model": "xai.grok-4.3",
|
||||
"web_search_calls": [
|
||||
{
|
||||
"type": "search",
|
||||
"status": "failed"
|
||||
},
|
||||
{
|
||||
"type": "search",
|
||||
"status": "completed"
|
||||
},
|
||||
{
|
||||
"type": "search",
|
||||
"status": "completed"
|
||||
},
|
||||
{
|
||||
"type": "open_page",
|
||||
"status": "completed"
|
||||
}
|
||||
],
|
||||
"citation_count": 2,
|
||||
"source": {
|
||||
"url": "https://agenciabrasil.ebc.com.br/politica/noticia/2026-10/confira-agenda-dos-presidenciaveis-nesta-quarta-feira-14",
|
||||
"http": 200,
|
||||
"visible_publication": "14/10/2026 - 08:17",
|
||||
"html_sha256": "f7642c836aa347cf4d04ea68eb2f24d3888172669ee4be1099b8f5c5cec7d12b"
|
||||
},
|
||||
"usage": {
|
||||
"input_tokens": 14359,
|
||||
"input_tokens_details": {
|
||||
"cached_tokens": 5760
|
||||
},
|
||||
"output_tokens": 1185,
|
||||
"output_tokens_details": {
|
||||
"reasoning_tokens": 798
|
||||
},
|
||||
"total_tokens": 15544,
|
||||
"num_sources_used": 0,
|
||||
"num_server_side_tools_used": 3,
|
||||
"cost_in_usd_ticks": 298632500,
|
||||
"server_side_tool_usage_details": {
|
||||
"web_search_calls": 3,
|
||||
"x_search_calls": 0,
|
||||
"x_posts_fetched": 0,
|
||||
"x_users_fetched": 0,
|
||||
"code_interpreter_calls": 0,
|
||||
"file_search_calls": 0,
|
||||
"mcp_calls": 0,
|
||||
"document_search_calls": 0,
|
||||
"image_generation_calls": 0
|
||||
},
|
||||
"context_details": {
|
||||
"input_tokens": 7565,
|
||||
"output_tokens": 466
|
||||
}
|
||||
},
|
||||
"http_checks": {
|
||||
"index": 200,
|
||||
"app.js": 200,
|
||||
"health": 200,
|
||||
"unauthenticated_post": 401,
|
||||
"invalid_history": 422
|
||||
},
|
||||
"browser_checks": {
|
||||
"http": 200,
|
||||
"js_errors": [],
|
||||
"desktop": true,
|
||||
"mobile_no_overflow": true
|
||||
},
|
||||
"render_check": {
|
||||
"answer_rendered": true,
|
||||
"method": "Fixture da resposta REST real previamente coletada, sem nova inferência"
|
||||
}
|
||||
}
|
||||
Reference in New Issue
Block a user