create or replace function FNC_26ai_query_INSIGHTS_LIST(p_query_id IN VARCHAR2, 
                                                        p_comp_id in varchar2,
                                                        p_credential in varchar2 default 'OCI_CRED') 
return t_26ai_array pipelined  parallel_enable
as
   l_sql VARCHAR2(4000) ;

   l_cursor_id INTEGER;
   l_desc_tab dbms_sql.desc_tab;
   l_col_cnt   INTEGER;

   v_labels clob;
   v_label_char varchar2(400);
   v_label_number varchar2(400);
   v_label_date varchar2(400);

   v_str_to_llm clob;
   v_insigths clob;

   v_has number ;
   -- funcao pipeline de retorno  
   v_id number := 0 ;
   v_array t_26ai_array := t_26ai_array(); 

   v_ignore_group varchar2(1);

begin  

   begin    
     select query_text
     into l_sql
     from TB_26AI_QUERY_HISTORY
     where query_id = p_query_id;

     v_has := 1;

   exception
     when no_data_found then
         v_has := 0 ;
         dbms_output.put_line(' Registro nao existente para a query ');
   end;

    if v_has = 1 then

        --
        -- rotina de identificacao de grupos (data types) baseado nos tipos de dados nas colunas da consulta 
        --
        BEGIN

            v_ignore_group := 'N';

            l_cursor_id := DBMS_SQL.OPEN_CURSOR;
            dbms_sql.parse(l_cursor_id, l_sql, dbms_sql.native);
            dbms_sql.describe_columns(l_cursor_id, l_col_cnt, l_desc_tab);

            FOR i IN 1..l_col_cnt LOOP

                     if  l_desc_tab(i).col_type not in (2,12)  then -- varchar2
                        v_str_to_llm := v_str_to_llm || 'Column ' || i || ' Data Type VARCHAR2: ' || l_desc_tab(i).col_name || ', ';
                        v_label_char := v_label_char  || l_desc_tab(i).col_name || ', ';

                     elsif  l_desc_tab(i).col_type = 2 then -- number
                        v_str_to_llm := v_str_to_llm || 'Column ' || i || ' Data Type NUMBER: ' || l_desc_tab(i).col_name || ', ';
                        v_label_number := v_label_number  || l_desc_tab(i).col_name || ', ';

                     elsif  l_desc_tab(i).col_type = 12 then -- date
                        v_str_to_llm := v_str_to_llm || 'Column ' || i || ' Data Type DATE: ' || l_desc_tab(i).col_name || ', ';
                        v_label_date := v_label_date  || l_desc_tab(i).col_name || ', ';

                     end if; 
             END LOOP;
             v_labels := 'Colunas: (' || v_label_char || v_label_number || v_label_date || ')';
             v_labels := replace(v_labels,', )',')');

      EXCEPTION
         WHEN OTHERS THEN
            v_ignore_group := 'Y'; 
            dbms_output.put_line( sqlerrm );
      END;   

             v_insigths := FNC_26AI_RAG('O SQL executado no Oracle para referência: ' || l_sql || '.' ||
              'Colunas e data types: ' || v_str_to_llm || '.' ||
        ' As colunas são classificadas de 2 tipos:' ||
        ' Quantificadores: São entidades, fazem a contagem de alguma informação, são as colunas de agru-padores. Ela é a informação para ser analisar.' || 
        ' O "Geral" será sempre implícito.' ||
        ' Totalizadores: Fazem a totalização de uma informação, baseada na soma, média, mínimo, máximo, etc.' ||
        ' O treinamento da IA precisa ser feito para que ela compreenda que colunas de tabelas que:' ||
        ' As que iniciam com "cd_" e que são PK, são quantificadores/entidades.' ||
        ' As que iniciam com "dt_" e tem tipo date/datetime/timestamp são informações de uma data, que se pode quebar a informação em dia, mês, ano e dia da semana' ||
        ' As que iniciam com "qt_" ou possuem "quantidade", "qtde" e são de tipos numéricos (inteiro ou decimais) são informações totalizadoras.' ||
        ' As que iniciam com "vl" ou possuem "valor" e são de tipos numéricos (inteiro ou decimais) são in-formações totalizadoras.' ||
        ' Basicamente terá um padrão de nomes. Comentários nas colunas no banco podem ajudar na formatação do resultado do insight, conforme visto mais adiante.' ||
        ' Os totalizadores compostos são totais extraídos da soma de várias colunas Totalizadoras. Por exemplo, uma consulta que possui as colunas "icms", "ipi", "pis", "cofins" ' ||
        ' irão possuir os totalizadores conforme vistos antes, com agrupamentos também conforme vistos antes. No entanto, poderá haver também um totalizador composto chamado ' ||
        ' "Valor dos impostos" que será o resultado da soma desses 4 impostos. Esse totalizador composto é também pode aplicar totalizações pelas colunas Quantificadores ' ||
        ' (Valor de impostos por geral, Valor de impostos por cd_material, etc).' ||
        ' Tipos de insights' ||
        ' Os exemplos anteriores baseiam-se em totalizações por soma, média, mínimo e máximo. Esses exemplos foram simplificados para compreendimento do funcionamento.' ||
        ' Avançando nesse sentido, para que os insights possam gerar informações de alto nível, outros cálculos de estatística descritiva podem ser adicionados, como média, ' ||
        ' mediana, moda e desvio padrão, bem como técnicas estatísticas de detecção de anomalias, como granularidades horária, diária, semanais e mensais, além de muitas' ||
        ' outras utilizadas normalmente em dashboard de BI’s.' ||
        ' Considerando os exemplos que vimos anteriormente, poderão ser gerados insights automáticos para fornecer informações que responderiam as seguintes análises:' ||
        ' Qual material eu mais movimento?' ||
        ' Qual dia da semana mais movimento materiais?' ||
        ' Qual a variação percentual entre o valor mínimo e o máximo do material "X"?' ||
        ' Qual o maior desvio entre a quantidade do material "Y";' ||
        ' Qual o maior e menor intervalo de tempo de movimentação de um material?' ||
        ' Exemplo de insight:' ||
        ' ID: 1' ||
        ' Insight: Contagem por cd_material' ||
        ' Informação: count(*)' ||
        ' Como: group by cd_material' ||
       ' Por exemplo: para o Oracle SQL "SELECT CD_MOVIMENTO, DT_MOVIMENTO, CD_MATERIAL, QUANTIDADE, VALOR FROM ESMOVIME" ' ||
              ' Temos:  ' ||
              ' QUANTIFICADOR: select CD_MOVIMENTO, count(*) FROM ESMOVIME group by CD_MOVIMENTO ' ||
              ' TOTALIZADOR: select max(QUANTIDADE), min(QUANTIDADE), avg(QUANTIDADE), sum(QUANTIDADE) FROM ESMOVIME ' ||
              ' Gere insigths deste tipo, incluindo composicao de colunas para que seja possivel gerar maior numero de insigths possivel: ' ||
          case 
             when v_ignore_group = 'N' then    
              ' Composição de colunas VARCHAR2: ' || v_label_char || ' ' ||
              ' Composição de colunas NUMBER: ' || v_label_number || ' ' ||
              ' Composição de colunas DATE: ' || v_label_date
           end  || 
              ' O resultado deve ser um documento em JSON, com atributos: "tipo" (totalizador ou quantificador), ' ||
              ' "descricao" (se será uma contagem, soma, média, e sobre qual colunas ou colunas), "insigth", "informacao" ' ||
              ' (descrição de como realizar o insight), "sql" (comando). ' || 
        ' Exemplo de JSON e sua estrutura: ' || 
        '{ "tipo": "quantificador",  ' || 
        '    "descricao": "Contagem por CD_MOVIMENTO",  ' || 
        '    "insight": "Contagem de movimentos",  ' || 
        '    "informacao": "Count(*)",  ' || 
        '    "sql": "SELECT CD_MOVIMENTO, COUNT(*) FROM ESMOVIME GROUP BY CD_MOVIMENTO" }  ' || 
        ' Certifique-se de que o JSON gerado não contenha comentários, caracteres extras ou ' ||
        ' qualquer outro elemento que invalide o JSON.', p_credential,p_comp_id);


    else -- v_has = 0 

       dbms_output.put_line(' Insights ja existem para SQL ' || p_query_id );

    end if;


    dbms_output.put_line(v_insigths);

    -- retorno da funcao pipeline
    for r1 in (     SELECT jt.tipo, jt.descricao, jt.insight, jt.informacao, jt.sql_query, p_query_id, sysdate
                    FROM JSON_TABLE(
                        replace( substr( v_insigths,
                                         instr( v_insigths , '```' ) + 3,
                                         instr( v_insigths , '```',1,2) - instr( v_insigths , '```' ,1,1) - 3
                                        ) , 'json', '')
                        , 
                        '$[*]' COLUMNS (
                            tipo VARCHAR2(50) PATH '$.tipo',
                            descricao VARCHAR2(255) PATH '$.descricao',
                            insight VARCHAR2(255) PATH '$.insight',
                            informacao VARCHAR2(255) PATH '$.informacao',
                            sql_query VARCHAR2(1000) PATH '$.sql'
                        ) 
                   ) jt  ) loop     
        v_id := v_id + 1;
        v_array.extend;
        v_array(v_array.last) := t_26ai_insight_record(v_id, 
                                                 r1.tipo ,
                                                 r1.descricao ,
                                                 r1.insight ,
                                                 r1.informacao ,
                                                 r1.sql_query,
                                                 p_query_id,
                                                 sysdate);
        PIPE ROW( v_array(v_id) );
    end loop;

end;
/