From df0d7755401f2490621ee87a29a0618316a9c8b9 Mon Sep 17 00:00:00 2001 From: Antonio Sergio Rodrigues Figueiredo Date: Wed, 9 Sep 2026 17:30:42 -0300 Subject: [PATCH] Passo 3 v2.0.0: mapeamento de perfis de carga confirmado contra export real MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit - docs/13-v2-perfis-carga.html: mapeamento completo coluna a coluna pra DL_TECH_CMDB_V2 (12 campos) e DL_TECH_VULNERABILIDADE_V3 (23 campos), conferido campo a campo contra um export real (Artefatos/ da V1_Cliente, só linhas AM...) em vez de suposição. - Correções encontradas na conferência: definition.patch_published e definition.vulnerability_published têm prefixo 'definition.' no export real (não estava assim documentado antes); flags booleanos confirmados como texto 'true'/'false' (Tenable) e 'Verdadeiro(a)'/'Falso(a)' (ServiceNow, mesma convenção já usada em SOX/COFRE/TENABLE/SIEM no capítulo 10). - RAW_JSON deliberadamente fora do escopo deste passo — Data Load só carrega colunas mapeadas, não a linha completa; população real de RAW_JSON depende da tabela de staging (próximo item do TASKS.md). - Nav (13 páginas) e pillnav do capítulo 12 atualizados. Co-Authored-By: Claude Sonnet 5 --- TASKS.md | 5 +- docs/02-arquitetura.html | 1 + docs/03-pre-requisitos-credenciais.html | 1 + docs/04-passo-a-passo-banco.html | 1 + docs/05-passo-a-passo-apex.html | 1 + docs/06-validacao-testes.html | 1 + docs/07-seguranca-boas-praticas.html | 1 + docs/08-glossario-roadmap.html | 1 + docs/09-operacao-observabilidade.html | 1 + docs/10-carga-cmdb-vulnerabilidades.html | 1 + docs/11-v2-evolucao-schema.html | 1 + docs/12-v2-view-procedure.html | 3 +- docs/13-v2-perfis-carga.html | 151 +++++++++++++++++++++++ docs/index.html | 1 + 14 files changed, 168 insertions(+), 2 deletions(-) create mode 100644 docs/13-v2-perfis-carga.html diff --git a/TASKS.md b/TASKS.md index afeda17..5f1d0dc 100644 --- a/TASKS.md +++ b/TASKS.md @@ -43,7 +43,10 @@ teste — a menos que você peça explicitamente o contrário. (bloco grande) foi pulado na primeira passada — o checkpoint de compilação deu `VALID` porque a view *antiga* (46 colunas) já era válida antes. Resolvido rodando o bloco explicitamente; segunda checagem confirmou as 81 colunas. -- [ ] Novos perfis de carga (`DL_TECH_VULNERABILIDADE_V3`, `DL_TECH_CMDB_V2`) +- [ ] **Mapeamento pronto e confirmado contra export real** (ver + [docs/13-v2-perfis-carga.html](docs/13-v2-perfis-carga.html)) — falta só criar os dois + perfis de fato no App Builder (não é scriptável, precisa ser feito na UI). `RAW_JSON` + deliberadamente fora do escopo deste item — depende do item de staging abaixo. - [ ] Pipeline de staging: bucket → `TB_26AI_TECH_V2_STG` via `DBMS_CLOUD.COPY_DATA` (tabela nova, não mexe nas existentes) - [ ] `MERGE` com histórico (`LOAD_BATCH_ID`, `TB_26AI_TECH_V2_HIST` — tabela nova), honrando o diff --git a/docs/02-arquitetura.html b/docs/02-arquitetura.html index fe32c8f..55b793e 100644 --- a/docs/02-arquitetura.html +++ b/docs/02-arquitetura.html @@ -29,6 +29,7 @@
  • 10Carga: CMDB & Vulnerabilidades
  • 11v2.0.0 — Evolução de schema
  • 12v2.0.0 — View & Procedure
    • +
  • 13v2.0.0 — Perfis de carga
    • Vulnerability & Audit AI Insights
    diff --git a/docs/03-pre-requisitos-credenciais.html b/docs/03-pre-requisitos-credenciais.html index 8ffe765..bc35b24 100644 --- a/docs/03-pre-requisitos-credenciais.html +++ b/docs/03-pre-requisitos-credenciais.html @@ -29,6 +29,7 @@
  • 10Carga: CMDB & Vulnerabilidades
  • 11v2.0.0 — Evolução de schema
  • 12v2.0.0 — View & Procedure
    • +
  • 13v2.0.0 — Perfis de carga
    • Vulnerability & Audit AI Insights
    diff --git a/docs/04-passo-a-passo-banco.html b/docs/04-passo-a-passo-banco.html index 9096072..612af78 100644 --- a/docs/04-passo-a-passo-banco.html +++ b/docs/04-passo-a-passo-banco.html @@ -29,6 +29,7 @@
  • 10Carga: CMDB & Vulnerabilidades
  • 11v2.0.0 — Evolução de schema
  • 12v2.0.0 — View & Procedure
    • +
  • 13v2.0.0 — Perfis de carga
    • Vulnerability & Audit AI Insights
    diff --git a/docs/05-passo-a-passo-apex.html b/docs/05-passo-a-passo-apex.html index aec01f3..91db540 100644 --- a/docs/05-passo-a-passo-apex.html +++ b/docs/05-passo-a-passo-apex.html @@ -29,6 +29,7 @@
  • 10Carga: CMDB & Vulnerabilidades
  • 11v2.0.0 — Evolução de schema
  • 12v2.0.0 — View & Procedure
    • +
  • 13v2.0.0 — Perfis de carga
    • Vulnerability & Audit AI Insights
    diff --git a/docs/06-validacao-testes.html b/docs/06-validacao-testes.html index c2cfd6c..76afb02 100644 --- a/docs/06-validacao-testes.html +++ b/docs/06-validacao-testes.html @@ -29,6 +29,7 @@
  • 10Carga: CMDB & Vulnerabilidades
  • 11v2.0.0 — Evolução de schema
  • 12v2.0.0 — View & Procedure
    • +
  • 13v2.0.0 — Perfis de carga
    • Vulnerability & Audit AI Insights
    diff --git a/docs/07-seguranca-boas-praticas.html b/docs/07-seguranca-boas-praticas.html index cc95fb2..cb0b489 100644 --- a/docs/07-seguranca-boas-praticas.html +++ b/docs/07-seguranca-boas-praticas.html @@ -29,6 +29,7 @@
  • 10Carga: CMDB & Vulnerabilidades
  • 11v2.0.0 — Evolução de schema
  • 12v2.0.0 — View & Procedure
    • +
  • 13v2.0.0 — Perfis de carga
    • Vulnerability & Audit AI Insights
    diff --git a/docs/08-glossario-roadmap.html b/docs/08-glossario-roadmap.html index a434056..9d09ff3 100644 --- a/docs/08-glossario-roadmap.html +++ b/docs/08-glossario-roadmap.html @@ -29,6 +29,7 @@
  • 10Carga: CMDB & Vulnerabilidades
  • 11v2.0.0 — Evolução de schema
  • 12v2.0.0 — View & Procedure
    • +
  • 13v2.0.0 — Perfis de carga
    • Vulnerability & Audit AI Insights
    diff --git a/docs/09-operacao-observabilidade.html b/docs/09-operacao-observabilidade.html index 2f7e6df..973b4fb 100644 --- a/docs/09-operacao-observabilidade.html +++ b/docs/09-operacao-observabilidade.html @@ -29,6 +29,7 @@
  • 10Carga: CMDB & Vulnerabilidades
  • 11v2.0.0 — Evolução de schema
  • 12v2.0.0 — View & Procedure
    • +
  • 13v2.0.0 — Perfis de carga
    • Vulnerability & Audit AI Insights
    diff --git a/docs/10-carga-cmdb-vulnerabilidades.html b/docs/10-carga-cmdb-vulnerabilidades.html index 551b854..35003d7 100644 --- a/docs/10-carga-cmdb-vulnerabilidades.html +++ b/docs/10-carga-cmdb-vulnerabilidades.html @@ -29,6 +29,7 @@
  • 10Carga: CMDB & Vulnerabilidades
  • 11v2.0.0 — Evolução de schema
  • 12v2.0.0 — View & Procedure
    • +
  • 13v2.0.0 — Perfis de carga
    • Vulnerability & Audit AI Insights
    diff --git a/docs/11-v2-evolucao-schema.html b/docs/11-v2-evolucao-schema.html index effea64..976d408 100644 --- a/docs/11-v2-evolucao-schema.html +++ b/docs/11-v2-evolucao-schema.html @@ -29,6 +29,7 @@
  • 10Carga: CMDB & Vulnerabilidades
  • 11v2.0.0 — Evolução de schema
  • 12v2.0.0 — View & Procedure
    • +
  • 13v2.0.0 — Perfis de carga
    • Vulnerability & Audit AI Insights
    diff --git a/docs/12-v2-view-procedure.html b/docs/12-v2-view-procedure.html index f2ea438..4b491bd 100644 --- a/docs/12-v2-view-procedure.html +++ b/docs/12-v2-view-procedure.html @@ -29,6 +29,7 @@
  • 10Carga: CMDB & Vulnerabilidades
  • 11v2.0.0 — Evolução de schema
  • 12v2.0.0 — View & Procedure
    • +
  • 13v2.0.0 — Perfis de carga
    • Vulnerability & Audit AI Insights
    @@ -113,7 +114,7 @@ sentido depois do capítulo 13 (perfis de carga novos, ainda não publicado) —

    Rode de novo o CREATE OR REPLACE VIEW/PROCEDURE originais (sql/01_ampminsights_db_setup.sql, trechos V_26AI_TECH e prc_26ai_tech) — como são CREATE OR REPLACE, isso restaura o comportamento anterior sem afetar dado nenhum (view e procedure não guardam estado).

    -
    +
    diff --git a/docs/13-v2-perfis-carga.html b/docs/13-v2-perfis-carga.html new file mode 100644 index 0000000..4a1a27e --- /dev/null +++ b/docs/13-v2-perfis-carga.html @@ -0,0 +1,151 @@ + + + + + +ampmInsights · v2.0.0 — Perfis de carga + + + + +
    + +
    +

    v2.0.0 · Passo 3

    +

    Perfis de carga: DL_TECH_VULNERABILIDADE_V3 e DL_TECH_CMDB_V2

    +

    Novos perfis de carga do APEX para alimentar as colunas Tier-1 criadas no capítulo 11 — sem sobrescrever DL_TECH_VULNERABILIDADE_V2/DL_TECH_CMDB_V1, que continuam servindo a v1.3.0 em produção.

    + +
    +
    Status: mapeamento confirmado contra export real, perfis ainda não criados
    +

    O mapeamento abaixo foi conferido campo a campo contra um export real de Tenable/ServiceNow + (arquivos em ampmInsights_V1_Cliente/Artefatos/, só linhas AM...) — não + é suposição. O que falta é a parte que não é scriptável: criar os dois perfis de + carga de fato no App Builder (Shared Components → Data Load Definitions), seguindo o roteiro da + seção 4.

    +
    + +

    1. Por que perfis novos, não sobrescrever os antigos

    +

    Mesma regra já usada na v1.3.0 (ver capítulo 10): +não alterar DL_TECH_VULNERABILIDADE_V2/DL_TECH_CMDB_V1 até o fluxo novo +estar validado, para não quebrar a carga que já roda em produção no cliente. Os perfis novos são +adicionais às colunas de sempre — não removem nenhum mapeamento existente.

    + +

    2. RAW_JSON continua pendente (de propósito)

    +

    Este passo não popula RAW_JSON. O motivo: o Data Load do APEX só leva pra tabela +as colunas que ele mapeia — os campos Tier 2/3 do export (que nunca ganharam coluna tipada) não +chegam nem perto da tabela por este caminho. Popular RAW_JSON de verdade (a linha +completa do export, todas as ~99/41 colunas) depende da tabela de staging (próximo item da Fase 1 +no TASKS.md) — lá sim a linha inteira do CSV existe antes de qualquer filtro de +coluna, e um `JSON_OBJECT(*)` sobre o staging resolve isso corretamente.

    + +

    3. Mapeamento — DL_TECH_CMDB_V2 (12 colunas novas)

    +

    Coluna de origem exatamente como aparece no export ServiceNow real:

    +
    + + + + + + + + + + + + + +
    Coluna no export ServiceNowColuna destino (v2.0.0)Observação
    install_statusINSTALL_STATUStexto direto
    life_cycle_stage_statusLIFE_CYCLE_STAGE_STATUStexto direto
    assigned_to (ou assigned, se assigned_to vier vazio)ASSIGNED_TOnos ativos AMPM amostrados, os dois vinham vazios com frequência — não é bug, é lacuna do cadastro de origem
    attestation_scoreATTESTATION_SCOREnumérico direto
    attestation_statusATTESTATION_STATUStexto direto (ex.: "Ainda não revisada")
    attestedATTESTED_FLAGvem como Verdadeiro(a)/Falso(a) — mesma convenção já usada em SOX/COFRE/TENABLE/SIEM no capítulo 10; converter para 1/0
    attested_byATTESTED_BYtexto direto
    u_fim_do_suporteU_FIM_DO_SUPORTEformato confirmado: DD-MM-YYYY (ex.: 01-07-2029) — configurar a máscara de data do Data Load Wizard como DD-MM-YYYY
    locationLOCATIONtexto direto
    asset_tagASSET_TAGtexto direto
    u_server_roleU_SERVER_ROLEtexto direto
    +
    + +

    4. Mapeamento — DL_TECH_VULNERABILIDADE_V3 (23 colunas novas)

    +
    + + + + + + + + + + + + + + + + + + + + + + + + +
    Coluna no export TenableColuna destino (v2.0.0)Observação
    definition.cveDEFINITION_CVElista separada por vírgula, texto direto
    definition.descriptionDEFINITION_DESCRIPTIONtexto direto (CLOB)
    definition.solutionDEFINITION_SOLUTIONtexto direto (CLOB)
    definition.synopsisDEFINITION_SYNOPSIStexto direto
    software_vulnsSOFTWARE_VULNStexto bruto (CLOB) — não fazer parsing agora, formato não é JSON válido (ver gap analysis seção 2.4)
    definition.cvss3.base_scoreDEFINITION_CVSS3_BASE_SCOREnumérico direto
    definition.cvss3.base_vectorDEFINITION_CVSS3_BASE_VECTORtexto direto
    definition.cpeDEFINITION_CPEtexto direto
    definition.epss.scoreDEFINITION_EPSS_SCOREnumérico direto
    definition.vpr.drivers_on_cisa_kevCISA_KEV_FLAGconfirmado: vem como texto true/false (não aninhado) — converter para 1/0
    definition.exploited_by_malwareEXPLOITED_BY_MALWARE_FLAGconfirmado: texto true/false — converter para 1/0
    definition.exploited_by_nessusEXPLOITED_BY_NESSUS_FLAGconfirmado: texto true/false — converter para 1/0
    portPORTnumérico direto
    asset.operating_systemASSET_OPERATING_SYSTEMtexto direto; asset.operating_systems (plural) tem o mesmo conteúdo nos exemplos vistos — usar o singular como principal
    last_fixedLAST_FIXEDdata/timestamp direto
    time_to_fixTIME_TO_FIXnumérico direto
    vuln_sla_dateVULN_SLA_DATEdata/timestamp direto
    definition.patch_publishedPATCH_PUBLISHEDcorreção: o nome real no export tem o prefixo definition., diferente do que constava antes
    definition.vulnerability_publishedVULNERABILITY_PUBLISHEDcorreção: idem, prefixo definition.
    sourceSOURCE_SCANtexto direto
    scan.idSCAN_IDtexto direto
    scan.targetSCAN_TARGETtexto direto
    +
    + +

    5. Como criar os perfis no App Builder

    +

    Não é scriptável de forma confiável para esta aplicação (ver decisão registrada no +capítulo 8/histórico do projeto sobre export de página) — +precisa ser feito manualmente no App Builder:

    +
      +
    1. App Builder → Application 100 → Shared Components → Data Load Definitions.
      2. +
    2. Selecione DL_TECH_CMDB_V1 (ou DL_TECH_VULNERABILIDADE_V2) e use Copy (não edite o original) — renomeie a cópia para DL_TECH_CMDB_V2 (ou DL_TECH_VULNERABILIDADE_V3).
      3. +
    3. Na cópia, adicione os campos novos da tabela da seção 3 (ou 4) — cada campo novo mapeado para a coluna de destino correspondente.
      4. +
    4. Para os campos flag (ATTESTED_FLAG, CISA_KEV_FLAG, EXPLOITED_BY_MALWARE_FLAG, EXPLOITED_BY_NESSUS_FLAG): configure a transformação de valor (Value Map / Column Transformation) Verdadeiro(a)/true → 1, Falso(a)/false → 0.
      5. +
    5. Para U_FIM_DO_SUPORTE: configure a máscara de data como DD-MM-YYYY.
      6. +
    6. Salve e teste com uma planilha pequena (5-10 linhas de ativos AM...) antes de rodar a carga completa.
      7. +
    + +

    6. Como validar

    +

    Depois de rodar uma carga de teste pequena:

    +
    +
    + Confirma que os campos novos vieram preenchidos + +
    + 
    SELECT asset_name, definition_cve, definition_cvss3_base_score,
+       cisa_kev_flag, exploited_by_malware_flag
+FROM V_26AI_TECH
+WHERE definition_cve IS NOT NULL
+FETCH FIRST 5 ROWS ONLY;
    +
    +

    Se vier linha com DEFINITION_CVE preenchido e CISA_KEV_FLAG/ +EXPLOITED_BY_MALWARE_FLAG como 1 ou 0 (nunca texto), os +perfis estão funcionando.

    + +
    +
    +
    + + + diff --git a/docs/index.html b/docs/index.html index d5adf6c..588e699 100644 --- a/docs/index.html +++ b/docs/index.html @@ -29,6 +29,7 @@
  • 10Carga: CMDB & Vulnerabilidades
  • 11v2.0.0 — Evolução de schema
  • 12v2.0.0 — View & Procedure
    • +
  • 13v2.0.0 — Perfis de carga
    • Vulnerability & Audit AI Insights