diff --git a/.gitignore b/.gitignore index 53c3ae9..0dc3f19 100644 --- a/.gitignore +++ b/.gitignore @@ -5,3 +5,14 @@ # Continua no pacote (zip de entrega); ver docs/04-passo-a-passo-banco.html para # como gerar/obter o arquivo caso precise recriar esta pasta do zero. modelo-onnx/*.onnx + +# Exports brutos/intermediarios de CMDB e vulnerabilidades - contem dados +# reais de OUTRAS empresas do grupo Ultrapar (Ipiranga, Ultrapar, Iconic) +# antes da sanitizacao por nome de servidor (ver docs/10-carga-cmdb-vulnerabilidades.html). +# So os arquivos finais _AMPM.xlsx dentro de template_limpo_ampm/ sao +# rastreados - nunca remova este bloco sem confirmar que os brutos nao vao +# entrar no historico. +Artefatos/*.csv +Artefatos/*.xlsx +Artefatos/template_limpo_ampm/*.csv +!Artefatos/template_limpo_ampm/*_AMPM.xlsx diff --git a/Artefatos/template_limpo_ampm/DL_TECH_CMDB_V1_AMPM.xlsx b/Artefatos/template_limpo_ampm/DL_TECH_CMDB_V1_AMPM.xlsx new file mode 100644 index 0000000..321dc21 Binary files /dev/null and b/Artefatos/template_limpo_ampm/DL_TECH_CMDB_V1_AMPM.xlsx differ diff --git a/Artefatos/template_limpo_ampm/DL_TECH_VULNERABILIDADE_V2_AMPM.xlsx b/Artefatos/template_limpo_ampm/DL_TECH_VULNERABILIDADE_V2_AMPM.xlsx new file mode 100644 index 0000000..4735d17 Binary files /dev/null and b/Artefatos/template_limpo_ampm/DL_TECH_VULNERABILIDADE_V2_AMPM.xlsx differ diff --git a/docs/02-arquitetura.html b/docs/02-arquitetura.html index 88704a3..8dd2ca2 100644 --- a/docs/02-arquitetura.html +++ b/docs/02-arquitetura.html @@ -26,6 +26,7 @@
  • 7Segurança & boas práticas
  • 8Glossário & roadmap
  • 9Operação & observabilidade
    • +
  • 10Carga: CMDB & Vulnerabilidades
    • Vulnerability & Audit AI Insights
    diff --git a/docs/03-pre-requisitos-credenciais.html b/docs/03-pre-requisitos-credenciais.html index acf7687..287d206 100644 --- a/docs/03-pre-requisitos-credenciais.html +++ b/docs/03-pre-requisitos-credenciais.html @@ -26,6 +26,7 @@
  • 7Segurança & boas práticas
  • 8Glossário & roadmap
  • 9Operação & observabilidade
    • +
  • 10Carga: CMDB & Vulnerabilidades
    • Vulnerability & Audit AI Insights
    diff --git a/docs/04-passo-a-passo-banco.html b/docs/04-passo-a-passo-banco.html index 7600204..10ced14 100644 --- a/docs/04-passo-a-passo-banco.html +++ b/docs/04-passo-a-passo-banco.html @@ -26,6 +26,7 @@
  • 7Segurança & boas práticas
  • 8Glossário & roadmap
  • 9Operação & observabilidade
    • +
  • 10Carga: CMDB & Vulnerabilidades
    • Vulnerability & Audit AI Insights
    diff --git a/docs/05-passo-a-passo-apex.html b/docs/05-passo-a-passo-apex.html index 9c37328..e4d721d 100644 --- a/docs/05-passo-a-passo-apex.html +++ b/docs/05-passo-a-passo-apex.html @@ -26,6 +26,7 @@
  • 7Segurança & boas práticas
  • 8Glossário & roadmap
  • 9Operação & observabilidade
    • +
  • 10Carga: CMDB & Vulnerabilidades
    • Vulnerability & Audit AI Insights
    diff --git a/docs/06-validacao-testes.html b/docs/06-validacao-testes.html index d766abd..2717d72 100644 --- a/docs/06-validacao-testes.html +++ b/docs/06-validacao-testes.html @@ -26,6 +26,7 @@
  • 7Segurança & boas práticas
  • 8Glossário & roadmap
  • 9Operação & observabilidade
    • +
  • 10Carga: CMDB & Vulnerabilidades
    • Vulnerability & Audit AI Insights
    diff --git a/docs/07-seguranca-boas-praticas.html b/docs/07-seguranca-boas-praticas.html index 5727345..c4d0277 100644 --- a/docs/07-seguranca-boas-praticas.html +++ b/docs/07-seguranca-boas-praticas.html @@ -26,6 +26,7 @@
  • 7Segurança & boas práticas
  • 8Glossário & roadmap
  • 9Operação & observabilidade
    • +
  • 10Carga: CMDB & Vulnerabilidades
    • Vulnerability & Audit AI Insights
    diff --git a/docs/08-glossario-roadmap.html b/docs/08-glossario-roadmap.html index 21b6320..d768d75 100644 --- a/docs/08-glossario-roadmap.html +++ b/docs/08-glossario-roadmap.html @@ -26,6 +26,7 @@
  • 7Segurança & boas práticas
  • 8Glossário & roadmap
  • 9Operação & observabilidade
    • +
  • 10Carga: CMDB & Vulnerabilidades
    • Vulnerability & Audit AI Insights
    diff --git a/docs/09-operacao-observabilidade.html b/docs/09-operacao-observabilidade.html index 2a2a363..0bb8445 100644 --- a/docs/09-operacao-observabilidade.html +++ b/docs/09-operacao-observabilidade.html @@ -26,6 +26,7 @@
  • 7Segurança & boas práticas
  • 8Glossário & roadmap
  • 9Operação & observabilidade
    • +
  • 10Carga: CMDB & Vulnerabilidades
    • Vulnerability & Audit AI Insights
    @@ -168,7 +169,7 @@ independentes, corrigir um não corrige o outro.

    — não deve retornar linha depois que o processamento terminar.

    -
    +
    diff --git a/docs/10-carga-cmdb-vulnerabilidades.html b/docs/10-carga-cmdb-vulnerabilidades.html new file mode 100644 index 0000000..28b4993 --- /dev/null +++ b/docs/10-carga-cmdb-vulnerabilidades.html @@ -0,0 +1,162 @@ + + + + + +ampmInsights · Carga de dados: CMDB e Vulnerabilidades + + + + +
    + +
    +

    Carga de dados

    +

    Carga de dados: CMDB e Vulnerabilidades

    +

    Guia rápido para preparar e subir novas cargas de CMDB (ServiceNow) e de vulnerabilidades (Tenable), garantindo que só entram dados da AM/PM.

    + +
    +
    Por que filtrar antes de subir
    +

    O ServiceNow e o Tenable do grupo Ultrapar são compartilhados entre todas as empresas + (Ipiranga, Ultrapar, Iconic, AM/PM). Um export "bruto" do CMDB ou do Tenable traz ativos de + todas essas empresas misturados — sem filtrar antes de subir, o ambiente da + AM/PM passa a exibir servidores e vulnerabilidades de outras empresas do grupo. Siga os passos + abaixo em toda carga nova, não só na primeira.

    +
    + +

    1. Como identificar o que é da AM/PM

    +

    O campo "Empresa"/"company" do export não é totalmente confiável — em uma +carga real, cerca de 40% das linhas marcadas como AM/PM na verdade tinham nome de servidor no +padrão de outra empresa do grupo. O critério que funciona é o nome do servidor:

    +
    + + + + + + +
    Prefixo do nomeEmpresa
    AM...AM/PM — manter
    IP... / I2...Ipiranga — remover
    U2...Ultragaz — remover
    outros/genéricos (ex.: endereço IP, hash, SERV-*)revisar manualmente antes de decidir
    +
    +

    Regra prática no Excel: filtre a coluna de nome do servidor pra manter só +linhas que começam com AM (não importa o que a coluna "Empresa" diga) e +apague o restante. Revise manualmente linhas com nome fora desse padrão antes de decidir incluir +ou não — nunca confie só na coluna "Empresa".

    + +

    2. Mapeamento de colunas — CMDB

    +

    O arquivo de CMDB do ServiceNow vem com nomes de coluna em inglês; a carga no ampmInsights +espera um XLSX com os cabeçalhos exatamente como na tabela abaixo (renomeie as +colunas no Excel antes de subir):

    +
    + + + + + + + + + + + + + + + + +
    Coluna no export ServiceNowRenomear para (cabeçalho esperado)
    nameNOME
    operational_statusSTATUS_OPERACIONAL
    short_descriptionDESCRIÇÃO
    environmentAMBIENTE
    companyEMPRESA (revise pelo nome do servidor, não copie direto)
    managed_by_groupGERENCIADO_PELO_GRUPO
    assignment_groupGRUPO_RESPONSÁVEL
    u_safe_boxCOFRE (converter Verdadeiro/Falso(a) para 1/0)
    u_soxSOX (converter Verdadeiro/Falso(a) para 1/0)
    u_tipo_de_redeTIPO_DE_REDE
    u_grupo_resp_assignment_groupGRUPOS_RESPONSÁVEIS
    u_tenableTENABLE (converter Verdadeiro/Falso(a) para 1/0)
    u_siemSIEM (converter Verdadeiro/Falso(a) para 1/0)
    sem equivalente no exportÉ_VIRTUAL, APPLIANCE, EDR — deixe em branco
    +
    + +

    3. Mapeamento de colunas — Vulnerabilidades

    +

    O export do Tenable também precisa ter os cabeçalhos renomeados. Use só as colunas abaixo — +o restante do export do Tenable (CVE, CVSS, solução, etc.) não é usado nesta carga:

    +
    + + + + + + + + + + + + + + + + + + + + +
    Coluna no export TenableRenomear para (cabeçalho esperado)
    age_in_daysAGE_IN_DAYS
    asset.display_ipv4_addressASSET_DISPLAY_IPV4_ADDRESS
    asset.idASSET_ID
    asset.nameASSET_NAME
    asset.tagsASSET_TAGS
    definition.exploitability_easeDEFINITION_EXPLOITABILITY_EASE
    definition.familyDEFINITION_FAMILY
    definition.idDEFINITION_ID
    definition.nameDEFINITION_NAME
    definition.vpr.scoreDEFINITION_VPR_SCORE
    first_observedFIRST_OBSERVED
    idID
    last_seenLAST_SEEN
    outputOUTPUT
    protocolPROTOCOL
    resurfaced_dateRESURFACED_DATE
    severitySEVERITY
    stateSTATE
    +
    +
    +
    Filtre as vulnerabilidades pelo mesmo critério do CMDB
    +

    Depois de filtrar o CMDB, filtre também o arquivo de vulnerabilidades: mantenha só as linhas + cujo ASSET_NAME começa com AM — mesmo critério do passo 1, aplicado + aqui pelo nome do ativo em vez do nome do servidor.

    +
    + +

    4. Passo a passo da carga

    +
      +
    1. Exportar o CMDB (ServiceNow) e as vulnerabilidades (Tenable) em CSV, como de costume.
      2. +
    2. Filtrar as duas planilhas pelo critério do passo 1 (nome começa com AM).
      3. +
    3. Renomear as colunas conforme as tabelas dos passos 2 e 3, e salvar cada planilha como .xlsx.
      4. +
    4. Se for recarregar dados já existentes (não uma carga inicial), limpe as tabelas antes — peça ao time técnico para rodar: +
      +
      + Limpeza antes de recarregar (time técnico) + +
      + 
      DELETE FROM TB_26AI_TECH_VECTOR WHERE source_type = 'VUL';
+DELETE FROM TB_26AI_TECH_V2;
+DELETE FROM TB_26AI_TECH_CMDB;
+COMMIT;
      +
      +
      5. +
    5. Suba o CMDB primeiro, pelo menu Upload CMDB da aplicação.
      6. +
    6. Suba as vulnerabilidades em seguida (depois do CMDB, pra já aparecer nome/empresa corretos nos insights).
      7. +
    7. Valide: confira no CMDB que o total de linhas bate com o esperado e que o filtro "Empresa" só mostra AM/PM; confira na tela de Insights que os nomes de servidor são todos padrão AM....
      8. +
    + +
    +
    Casos que sempre merecem revisão manual
    +
      +
    • Nomes com sufixo #DUP — o ServiceNow já marcou como duplicata pendente de revisão.
      • +
    • Nomes duplicados exatos na planilha de CMDB — mantenha a linha com status "Operacional" e descarte a outra.
      • +
    • Ativos de vulnerabilidade sem correspondência no CMDB filtrado — ficam sem nome/empresa preenchidos nos insights, mas os dados de vulnerabilidade continuam sendo carregados normalmente.
      • +
    +
    + +
    +
    +
    + + + diff --git a/docs/index.html b/docs/index.html index 67b3011..58aa8ea 100644 --- a/docs/index.html +++ b/docs/index.html @@ -26,6 +26,7 @@
  • 7Segurança & boas práticas
  • 8Glossário & roadmap
  • 9Operação & observabilidade
    • +
  • 10Carga: CMDB & Vulnerabilidades
    • Vulnerability & Audit AI Insights