Business Intelligence e Analytics

Business Intelligence e Analytics

1. Componentes principais

   • Data Warehouse
     • para armazenar e organizar as fontes de dados existentes. Normalmente, uma equipe técnica constrói, garante a segurança e gerencia o data warehouse.
   • coleção de ferramentas disponibilizadas para analisar, manipular e minerar dados
     • Usuãrios utilizam para buscar informações nos dados
   • Interface gráfica
     • Utilizada para interação com os usuários, como navegador ou dashboard
   • Business Process Management
     • Gerenciador de processos de negócio, para controlar a saúde ou o desempenho de um negócio, este componente é muito utilizado por gerentes executivos para analisar estratégias de negócio

2. BI X Ciencia de dados

   • BI - Busca entender o que aconteceu ou que vinha acontecendo Ciencia de dados - utiliza-se machine learning, o objetivo é entender o passado para antecipar o futuro, incorporando com o tempo inclusive técnicas de BI

3. OLTP

   • como online transaction processing (OLTP), ou sistemas de processamento de transação on-line. Uma das principais características dos sistemas OLTP é sua 14 Inteligência de negócios e análise de dados Material para uso exclusivo de aluno matriculado em curso de Educação a Distância da Rede Senac EAD, da disciplina correspondente. Proibida a reprodução e o compartilhamento digital, sob as penas da Lei. © Editora Senac São Paulo. eficiência para lidar com transações on-line. Os usuários fazem solicitação (ou requisições) a computadores que respondem imediatamente a essas solicitações
   • Diferenças
     • OLAP está em um nível estratégico, otimizado para leitura e geração de análises gerenciais, mais rápido para entender os dados e gerar realtórios  enqunto o OLTP está em um nível mais operacional, com alta velocidade e manipulação de dados, porém ineficienetes para relatórios e análises
   • Banco de dados relacional

4. OLAP

   • Em BI, fazemos análise de dados que estão contidos em um data warehouse, usando um sistema de processamento analítico de dados on-line (Olap) Armazenado em cubo
   • DW

5. Ferramenta de business inteligence

   • Descritiva
     • Ajuda a entender as tendências ae causas das ocorrências Relatórios, dashboards, data warehouse, scorecard
   • Preditiva
     • Ajuda a determinar o que está acontecendo em uma organização, o que é mais provável acontecer no futuro e por que irá acontecer técnicas de mieração de dados
   • Prescritiva
     • Ajuda a reconhecer o que está acontecendo e o que deve vir a acontecer, apoia a tomada dedecisão com base em algum tipo de modelo anaítico.ara responder a essas perguntas podemos otimizar processos, fazer simulações e criar modelos e sistemas especialistas para suportar decisões
   • Grupo gartner
     • Publica um relatório muito importante, conhecido como quadrante mágico da Gartner. O relatório define estratégias e relevâncias a respeito de ferramentas de BI baseado em quatro componentes principais
     • Líderes
     • Desafiadores
     • Visionários
     • Niche Players

6. ETL

   • Extract, Transform and load Modelo padrão para integrar dados de uma empresa e criar um data warehouse (dw) Para obter informações rápidas e estratégicas a respeito de seus dados, precisam coletá-los, integrá-los e transformá-los
   • DW
     • Um DW é um processo, não um produto, para reunir e gerenciar dados de várias fontes com o objetivo de obter apenas um, uma visão detalhada de parte ou de todo um negócio (GARDNER, 1998). Em suma, você pode entender que um DW é uma coleção de dados históricos, indexados e de alto valor que passaram por um processo de limpeza, processamento e transformação para permitir análises estratégicas e avançadas de usuários
     • Enorme repositório de dados, dados coletados de outros sistemas. Coleção de tecnologias destinada a permitir que o trabalador torme rapidamente decisões. Enorme repositório de dados totalmente centralizado
     • DATA MARTS
       • Para minimizar a complexidade envolvida nos dados, os DWs oferecem uma visão na qual os dados são divididos em vários esquemas simples, chamados data marts Cada um tem uma função bem definida para executar uma atividade de análise específica
       • Esquema de estrela
         • Os dados em um data mart são representados por meio de um esquema em estrela que consiste em grandes tabelas de fatos que contêm medições numéricas ou aditivas usadas para calcular respostas quantitativas sobre o negócio
       • Esquema de fatos
         • Um esquema de fatos é estruturado como uma árvore, cuja raiz é um fato. O fato é representado por uma caixa que informa o nome dele. Normalmente, um ou mais atributos numéricos podem estar associados e podem medir o fato de diferentes pontos de vista
       • 5 fases para converter um relacional para DW
         • 1. definição de fatos; 2. definição e poda dos atributos da árvore; 3. definição das dimensões; 4. definição dos atributos de fato; e 5. definição das hierarquias.
     • Tabela de fatos
       • Armazenar os dados históricos de uma venda Armazenam muitas informações que são ateladas a uma data Um exemplo clássico vendas de produtos de uma empresa, atrelado a data de compra
     • Tabela de dimensões
       • Apoia a tabela de fatos, são usadas para definir a entidade do negócio, Cadastro de um produto em um negócio
     • Esquema floco de neve
       • é uma variação do esquema estrela, é um método para normalizar as tabelas de dimensão em um esquema em estrela e criar subdimensões para níveis hierárquicos
       • 6 Etapas de construção
         • Definição do assunto: define os assuntos ou dados que serão usados no processo de construção. 2. Definição das fontes de dados e informação: define todos os recursos e informações dos sujeitos definidos na etapa 1. 3. Coleta de dados: inicia o processo de coleta de dados nas fontes levantadas na etapa 2. 4. Projeção do esquema extract, transform and load (ETL), ou extrair, transformar e carregar, no esquema floco de neve: nessa etapa fazemos um modelo de dados dimensional que forma um esquema de floco de neve e um design de processos ETL. 5. Processo ETL: os dados são processados e extraídos de várias fontes e carregados em um DW, periodicamente. 6. Analisando o DW: nesse processo temos três etapas principais: a. viabilizando o cubo e dimensões para o DW; b. analisando o DW; e c. testando o DW
   • Extração
     • Dados podem ser extraídos de várias fontes, como sistemas enterprise planning (ERP)., OU PLANEJAMENTO DE RECUSOS DA EMPRESA, LOGS DE SISTEMA, PLANILHAS, ETC. Realiza a leitura ou o carreggamento de uma ou mais bases de dados para o processo de ETL
     • Como fazer
       • Pode ser utilizado linguagens de programação entre outras formas.
       • Pentaho
         • Pentaho é um software de código aberto, desenvolvido em Java e utilizado para desenvolver tarefas de ETL, como criação de relatórios, desenvolvimento de estruturas online analytical processing (Olap), ou Extração, tratamento e carga de dados 27 Material para uso exclusivo de aluno matriculado em curso de Educação a Distância da Rede Senac EAD, da disciplina correspondente. Proibida a reprodução e o compartilhamento digital, sob as penas da Lei. © Editora Senac São Paulo. processamento analítico on-line e mineração de dados. Seus componentes principais são: 1. Pentaho data integration, que serve para extração, carregamento e carga de ETL de dados; 2. Pentaho analysis services, utilizado para Olap; 3. Pentaho reporting, utilizado para criação de relatórios; 4. Pentaho data mining, derivado da ferramenta weka, que oferece um kit de ferramentas e soluções para mineração de dados; 5. Pentaho dashboard, utilizado para visualização de dados; 6. Pentaho Hadoop, utilizado para processamento de grandes volumes de dados em clusters Hadoop (HITACHI VANTARA, 2022).
       • AWS GLUE
   • Transformação ou tratamento
     • Normalmente, dados originados de diversas fontes apresentam estruturas que demandam um processo de transformação , antes de serem inseridos no DW. O processo visa integrar, processar e tratar anomalias nos dados 
     • Modelagem dimensional
       • Para explicar a cardinalidade dos relacionamentos podemos considerar que os relacionamentos são de 1 para N dos fatos, já as tabelas de dimensões tem relacionamento de N para 1 1 dimensão contém vários fatos, 1 celular, contém , vendas, roubos, etc.
       • Definir tabela de fatos
         • Representam medições do negócio, como dados numéricos, adtivos e dados agragados de um fato
       • Tabela de dimensões
         • armazenam um conjunto de atributos que descrevem os fatos como produtos, vendas, mercado, segmentos, unidade de negócios
       • Granularidade
         • nível de detalhes dos relatórios para tomada de decisão de acordo com a granularidade organizacional Uma granularidade grande, deve ser inserir poucos detalhes, para o nível operacional são necessários muitos detalhes. o maior impacto da escolha da grunularidade é o espaço de armazenamento necessário
       • Hierarquia e agrupamento
         • definir as possibilidades no agrupamento das informações que o usuário deseja, por exemplo em relação aos meses é possível realizar em bimestres, trimestres, semestres ou anos 
       • Data Lake
         • guarda esses dados de forma útil para o seu processo. Porcão controlada de dados, formato pronto para quem for utilizar Modelos conceituais, guardar com tecnologias diferentes de acordo com o tipo do dado 
   • Carregamento
     • é o processo de inserir dados em um DWou em uma base consolidada com uma arquitetura robusta para responder consultas de usuários rapidamente
   • KPI
     • Indicador chave de desempenho das empresas O KPI é uma ferramenta que mede o desempenho estratégico ou os processos operacionais ou gerenciais. Por exemplo, a quantidade de vendas mensais (ou lucro) em um negócio é um KPI importante para entender o crescimento de uma empresa.

7. Modelagem Multidimensional

   • Dimensões
     • Dimensões são variaveis independentes e fatos são variáveis dependentes
     • Atributos
       • Atributos que estão em uma dimensão
     • Subdimensões
       • Uma dimensão pode conter dimensões menores
       • Granularidade
         • Nível mais baixo das subcategorias
     • Hierarquia entre elementos
   • Fatos
     • Métrica
       • Medica coletada por um sistema fonte. Saber o que está medindo e saber se está bom ou ruim Item dentro de uma tabela fato

8. Mineração de dados

   • Uma das etapas do KDD, no qual algoritmos específicos são aplicados para detectar padrões relevantes em um banco de dados sistemático
   • Sequencia de etapas tradicionais
     • Seleção
       • Subconjunto de banco de dados ou dados alvo, que são relevantes para o domínio do problema. Verificar o que é relevante
       • Processamento
         • Tratar a qualidade dos dados Ignorar o registro que tem o atributo incorreto. • Atribuir um valor manual. • Usar uma constante global. • Definir uma medida de tendência central (por exemplo, a média ou mediana). Mineração de dados – regras de associação 65 Material para uso exclusivo de aluno matriculado em curso de Educação a Distância da Rede Senac EAD, da disciplina correspondente. Proibida a reprodução e o compartilhamento digital, sob as penas da Lei. © Editora Senac São Paulo. • Usar um valor provável baseado na vizinhança (com técnicas de suavização).
         • Transformação de dados
           • definimos um novo conjunto considerado mais adequado para ser utilizado na etapa de mineração de dados (FAYYAD; PIATETSKY-SHAPIRO; SMYTH, 1996)\ Em outras palavras, os dados podem ser representados seguindo um novo formato para maximizar o desempenho na etapa de mineração de dados. Por exemplo, alguns métodos de mineração apenas funcionam com dados nominais. Nesse caso, se eles forem numéricos, precisam ser transformados em dados nominais para o funcionamento correto dos algoritmos. 
           • Mineração
             • Descrição
               • Buscam em um conjunto de dados padrões novos e informações não triviais disponíveis para relevar os relacionamentos entre dados, como os métodos de agrupamento (cluster), sumarização, modelagem de dependencia e detc'~ao de desvio e mudanças
               • Agrupamento
                 • Os métodos de agrupamento (ou segmentação) visam separar um conjunto de dados N em K subconjuntos (n1, n2, n3...), conhecidos como clusters. Semelhanças e características em comum entre os dados são critérios usados para separação dos conjuntos. Um algoritmo de agrupamento bem conhecido é o k-means, no entanto, muitos outros são discutidos por Zaki e Meira-Jr. (2014).
               • Sumarização
                 • . Os métodos de sumarização propõem extrair de dados relacionamentos entre atributos. As regras de associação são métodos de sumarização muito aplicados que avaliam os atributos que ocorrem frequentemente. Uma aplicação comum no comércio trata da verificação de quais subconjuntos de produtos são comprados com mais frequência. Tal método pode detectar um padrão de relacionamento, por exemplo, quando os clientes vão ao supermercado nos finais de semana, eles sempre compram cervejas, mas compram também fraldas de bebê (LAROSE; LAROSE, 2014).
               • Modelagem
                 • Os métodos de modelagem de dependência muitas vezes são utilizados para derivar alguma estrutura causal entre os dados. Esses modelos podem ser probabilísticos ou determinísticos. Os métodos de estimativas de densidade e de causais explícitas se enquadram nessa categoria (FAYYAD, 1997).
               • Detecção de desvios
                 • Os métodos de detecção de desvios e mudanças identificam ocorrências tanto em sequências de informações como em séries temporais. As duas principais características desses métodos são a capacidade de explicar a ordenação das observações e a busca por padrões com pouca incidência (FAYYAD, 1997). Por exemplo, uma empresa de energia pode aplicar métodos para detectar anomalias e identificar atividades suspeitas no consumo de energia elétrica nos últimos anos em uma determinada cidade
             • Previsão
               • Produzem um modelo representativo (por exemplo um código executável) a partir de um conjunto de dados de treinamento, para previsão de novos dados como classificação e regressão
               • Classificação
                 • Os métodos de classificação são utilizados para previsão em dados categóricos (ou nominais). Por exemplo, você pode usar algoritmos de classificação para prever, com base em uma tomografia, se o tumor é benigno ou maligno.
               • Regressão
                 • Os métodos de regressão trabalham com a previsão de dados numéricos (HAN; KAMBER; PEI, 2012). Você pode usar algoritmos de regressão para prever o volume de vendas de uma determinada loja para o próximo mês ou prever o preço justo de um imóvel baseado em um conjunto de características.
             • Descoberta de padrões
               • Assim que definimos a classe de métodos e selecionamos um algoritmo, o processo de mineração termina com a descoberta de padrões que precisam ser avaliados e interpretados por um especialista com algum grau de certeza para auxiliar as possíveis tomadas de decisão.
   • Crisp-DM
     • O Crisp é um modelo de processo que fornece uma estrutura para a realização de projetos de mineração de dados independentemente do setor da indústria e da tecnologia utilizada. O modelo de processo Crisp-DM visa tornar grandes projetos de mineração de dados, menos onerosos, mais confiáveis, mais repetíveis, mais gerenciáveis e mais rápidos (WIRTH; HIPP, 2000)
     • Etapas Crisp-DM
       • Compreensão de negócios
         •  Tudo começa na etapa compreensão de negócios, na qual levantamos os objetivos dos projetos e requisitos de acordo com as perspectivas do negócio (WIRTH; HIPP, 2000). Nessa etapa, começamos a modelar um problema de negócio em um problema de mineração de dados.
         • Documentar e levantar requisitos
           • Após documentar e levantar os requisitos e os objetivos dos projetos, iniciamos a etapa de coletar, organizar e descrever os dados que estão disponíveis no negócio para uma análise exploratória de dados (WIRTH; HIPP, 2000). Nessa etapa é importante definir os mecanismos e as ferramentas que serão utilizadas para extrair os diferentes tipos de dados disponíveis sobre o negócio. Além disso, é fundamental conhecer os dados, detectar padrões e formular hipóteses sobre os relacionamentos de dados.
           • Preparação de dados
             • Na etapa preparação de dados, assim como no processo de mineração de dados tradicional, queremos melhorar a qualidade dos dados aplicando diferentes técnicas para aumentar o nível de exatidão, integridade, consistência, pontualidade, credibilidade e interoperabilidade dos dados (HAN; KAMBER; PEI, 2012). As tarefas incluem seleção de tabelas, registros e atributos, limpeza de dados, criação de novos atributos e transformação de dados para as ferramentas de modelagem (WIRTH; HIPP, 2000)
             • Modelagem
               • Na fase de modelagem, algoritmos e várias técnicas podem ser selecionadas, calibradas e aplicadas para atingir os objetivos do negócio. Normalmente existem várias técnicas que podem ser utilizadas em apenas um problema de mineração de dados. Algumas técnicas exigem um formato de dado específico (WIRTH; HIPP, 2000).
               • Avaliação
                 • Antes de prosseguir para a implantação final, é importante avaliar mais detalhadamente o modelo e revisar as etapas executadas para construi-lo, para ter certeza de que ele atinge adequadamente os objetivos do negócio. A etapa avaliação determina se há alguma questão comercial importante que não foi suficientemente considerada, ou seja, uma decisão sobre o uso dos resultados da mineração de dados deve ser estimada.
                 • Implantação
                   • Por fim, na fase implantação, o conhecimento adquirido precisará ser organizado e apresentado de forma que o cliente possa usá-lo. 72 Inteligência de negócios e análise de dados Material para uso exclusivo de aluno matriculado em curso de Educação a Distância da Rede Senac EAD, da disciplina correspondente. Proibida a reprodução e o compartilhamento digital, sob as penas da Lei. © Editora Senac São Paulo. Dependendo dos requisitos, a fase de implantação pode ser tão simples quanto gerar um relatório ou tão complexa como a implementação de um processo de mineração de dados repetível (WIRTH; HIPP, 2000)
   • Algoritmo Apriori
     • o algoritmo apriori pode ser uma boa solução para realizar buscas sucessivas em toda a base de dados, mantendo um ótimo desempenho em termos de tempo de processamento (AGRAWAL; SRIKANT, 1994). O algoritmo apriori para mineração de regras de associação leva vantagem de estrutura dentro das próprias regras para reduzir o problema de busca a um tamanho gerenciável. O algoritmo apriori faz uso de duas funções principais: encontrar todos os conjuntos de itens frequentes e gerar associações entre os 74 Inteligência de negócios e análise de dados Material para uso exclusivo de aluno matriculado em curso de Educação a Distância da Rede Senac EAD, da disciplina correspondente. Proibida a reprodução e o compartilhamento digital, sob as penas da Lei. © Editora Senac São Paulo. conjuntos de itens frequentes que satisfaçam a uma condição de suporte e confiança (LAROSE; LAROSE, 2014)

9. KDD

   • Na literatura, diversos pesquisadores trabalharam com a ideia de que conhecimento pode ser automaticamente detectado, validado e usado de forma inteligente para inúmeras finalidades (WITTEN et al., 2017). Logo, tais necessidades originaram a knowledge discovery in databases (KDD), ou descoberta de conhecimento em bancos de dados, que é um processo não trivial para identificar padrões em dados que sejam novos, válidos, potencialmente úteis e compreensíveis (FAYYAD; PIATETSKY-SHAPIRO; SMYTH, 1996)

10. Visualização de dados

    • Relatório analítico
      • No geral, é um documento que contém informações embasadas por dados e organizadas por meio de narrativas, gráficos, tabelas, e preparado periodicamente de forma recorrente ou sob demanda (SHARDA; DELEN; TURBAN, 2019). 
      •  De acordo com Sharda, Delen e Turban (2019), os relatórios analíticos possuem algumas funções principais: • garantir que todos os departamentos estejam funcionando de modo adequado; • fornecer informações; • transmitir os resultados de uma análise; • persuadir os outros a agirem; e • criar uma memória organizacional.
      • Elementos obrigatórios
        • As aplicações desses tipos de relatórios são diferentes e, portanto, o estilo de escrita e a geração de dados são distintos em cada setor. No entanto, de acordo com Mike (2022), todos os relatórios analíticos devem incluir pelo menos os seguintes elementos: • Título: indica o principal tópico ou a finalidade do relatório. 82 Inteligência de negócios e análise de dados Material para uso exclusivo de aluno matriculado em curso de Educação a Distância da Rede Senac EAD, da disciplina correspondente. Proibida a reprodução e o compartilhamento digital, sob as penas da Lei. © Editora Senac São Paulo. • Índice: apresenta a ordem cronológica do conteúdo. • Cláusula: define a especificação dos métodos usados para a atividade. • Conteúdo principal: o conteúdo é dividido em seções contendo título, subtítulo e corpo da discussão. • Conclusão: é estabelecida de acordo com os resultados e os insights extraídos do conteúdo principal. • Recomendações: informações dirigidas às ações dadas pelo criador do relatório. • Bibliografia e apêndice: apresentar as referências e as informações, se necessário.
      • Etapas para construção de um relatório analítico
        • Identificar o problema
          • o primeiro passo para criar um relatório analítico é identificar o problema e as pessoas afetadas por ele. Isso inclui as informações sobre onde ele começou, quais técnicas foram usadas para resolvê-lo e quanto as técnicas foram boas (MIKE, 2022). Na prática, digamos que um relatório analítico sobre o atraso de alunos em uma escola está sendo construído. Note que esse seria o problema envolvido na construção do relatório. Quais pessoas são afetadas pelo relatório? Podemos citar alunos, professores e pais. Assim você fecharia a primeira etapa de identificação do problema.
          • Explicar os métodos
            • após detectar o problema, liste os métodos usados no relatório para descrever o sucesso das ações ou resolver o problema em questão (MIKE, 2022). Adicione um ou mais métodos e discuta a utilização dele na abordagem. Na prática, um relatório feito sobre uma campanha publicitária pode revelar que o fator de sucesso foi determinado por pesquisas realizadas em uma amostra populacional, ou seja, o sucesso deve-se ao método empregado.
            • Analisar os dados
              • : os relatórios analíticos apresentam uma análise detalhada das informações coletadas por meio dos métodos de pesquisa empregados (MIKE, 2022). Como já mencionado, o relatório foi criado para resolver um problema específico e decidir sobre métodos alternativos na tentativa de resolução. Portanto, ajudaria se fosse feita uma análise sobre o sucesso ou as falhas das soluções que foram tentadas inicialmente. Na prática, imagine a produção de um relatório analítico sobre a obediência aos limites de velocidade, no qual estão sendo avaliados e comparados o sucesso e o fracasso de soluções propostas anteriormente, como a construção de lombadas, a afixação de sinais de limite de velocidade ou o uso de viaturas policiais para paradas no trânsito. A análise das informações coletadas ao tentar esses métodos poderá responder qual foi o mais eficaz para o negócio, ou quem sabe uma combinação de dois métodos trará mais sucesso.
              • Fazer recomendações
                • s: por fim, o relatório analítico deve incluir recomendações de soluções ou definir ações para resolução do problema (MIKE, 2022). Essas ações ou soluções devem ser guiadas pelas análises de dados, ou seja, sem adivinhar as ações nem as possíveis soluções, apenas fazer recomendações de acordo com os resultados das análises. Na prática, seguindo o exemplo do relatório analítico sobre a obediência aos limites de velocidade, podemos sugerir os métodos utilizados e recomendar rotinas para solucionar o problema sobre o excesso de velocidade em rodovias.
    • Dashboards
      • m dashboard é um conceito para um painel de indicadores, com instrumentos virtuais, no qual se associam variáveis a serem monitoradas e gráficos que mostram a evolução dessas variáveis; oferece uma representação ilustrada do desempenho dos negócios de toda a empresa (DATAPINE, [s. d.]). 
      • 3 camadas de informação
        • 1. Monitoramento: dados gráficos e abstratos para monitorar indicadores-chave de desempenho. 2. Análise: dados dimensionais resumidos para analisar a causa- -raiz dos problemas. Visualização de dados 87 Material para uso exclusivo de aluno matriculado em curso de Educação a Distância da Rede Senac EAD, da disciplina correspondente. Proibida a reprodução e o compartilhamento digital, sob as penas da Lei. © Editora Senac São Paulo. 3. Gerenciamento: dados operacionais detalhados que identificam quais ações devem ser tomadas para resolver o problema.
      • Storytelling de dados
        • s é um campo importante que estuda a estratégia para transmitir conteúdo por meio de um enredo elaborado e de narrativa envolvente usando palavras e recursos visuais (KNAFLIC, 2019).

11. Extração de dados

    • API
    • Web Scrpping
      • a, web scraping é a prática de coletar dados por qualquer meio que não seja um programa interagindo com uma API (ou, obviamente, por meio de um humano usando um navegador web). Isso é mais comumente realizado escrevendo um programa automatizado que consulta um servidor web, solicita dados (geralmente na forma de HTML e outros arquivos que compõem as páginas da web) e, em seguida, analisa esses dados para extrair as informações necessárias (MITCHELL, 2018).

12. Estrutura de dados

    • Características
      • Volume
        • como o próprio termo permite inferir, big data tem tudo a ver com a magnitude de dados, ou seja, a grande quantidade de dados disponível para análise. Empresas como Facebook, Twitter, Google, Amazon, Uber e Netflix geram milhões de terabytes por dia (GANDOMI; HAIDER, 2015). Analistas afirmam que a produção de dados dobra a cada dois anos.
      • Variedade
        • refere-se à estrutura heterogênea dos dados em um banco de dados. Os avanços tecnológicos permitiram que as empresas armazenassem diferentes tipos de dados: 1. existem dados estruturados que são dados tabulados, em geral, como planilhas e bancos de dados relacionais, que correspondem à pequena porção dos dados atuais (GANDOMI; HAIDER, 2015); 2. dados não estruturados são os que não possuem uma estrutura 114 Inteligência de negócios e análise de dados Material para uso exclusivo de aluno matriculado em curso de Educação a Distância da Rede Senac EAD, da disciplina correspondente. Proibida a reprodução e o compartilhamento digital, sob as penas da Lei. © Editora Senac São Paulo. organizacional bem definida, o que dificulta a análise pelas máquinas, como texto, imagens, áudio e vídeos; e 3. dados semiestruturados são estruturas que não obedecem aos padrões rígidos dos dados. Embora exista um padrão no formato, existem muitas marcas de dados definidos nestes arquivos que tornam legíveis à máquina, como os arquivos XML. 
        • Dados estruturados
          • Dados tabulados, tabelas, bancos relacionais
        • Dados não estruturados
          • Não correspondem a uma estrutura, como textos imagens, áudio e vídeo
        • Dados semiestruturados
          • Não obedecem a padrões rígidos de dados, mas obedecem certo padrão que o torna legível para a máquina
      • Velocidade
        • refere-se à taxa, na qual os dados são gerados, e à velocidade, na qual eles devem ser coletados e analisados. O surgimento de dispositivos modernos, como smartphones e sensores, desafia a tecnologia em busca de soluções para coletar dados e analisá-los em tempo real, baseado em evidências extraídas de dados. Em big data, grandes companhias são capazes de usar dados sobre os seus clientes, como localização geográfica, dados demográficos e padrões de compra anteriores, que podem ser analisados em tempo real para se antecipar à concorrência e recomendar produtos e serviços adequados para cada perfil de cliente. A Amazon, por exemplo, processa mais de milhões de transações por hora. Milhões de usuários estão conectados o dia inteiro nas plataformas do Meta, como Facebook, Instagram e WhatsApp.
    • DW
      • Um DW é uma coleção histórica de dados processados estrategicamente para embasar o processo de tomada de decisão de gestores e analistas em uma organização. Em geral, os dados armazenados em DW são estruturados para ficar disponíveis em um formato exato para atividades de processamento analítico, isto é, processamento analítico on-line, mineração de dados, consultas, extração de relatórios e outras aplicações de embasamento de decisões (SHARDA; DELEN; TURBAN, 2019).
      • Orientado ao tema
        • diferente de banco de dados relacionais, que é orientado ao produto e às transações operacionais, o DW é orientado por temas detalhados contendo somente informações importantes para apoiar o processo de tomada de decisão.
      • Integrado
        • DW incorpora informações de diferentes fontes em um único ambiente, integrado e consistente. Para isso, precisamos lidar com padrões de formatação, tratar incompletudes e anomalias nos dados
      • Variável no tempo
        • DW normalmente contém informações históricas que não só dizem respeito ao estado atual do ambiente, mas também às importantes informações passadas. É comum encontrar tendências e desvios a longo prazo a fim de estabelecer comparações e previsões em um DW. No geral, as análises possuem diferentes visões temporais como horas, dias, quinzenas, meses e até anos.
      • Não volátil
        • : assim que dados atravessam um processo de ETL e são carregados em um DW, os usuários não podem mais alterá- -los ou atualizá-los. Normalmente, dados obsoletos são descartados e qualquer alteração é adicionada como um novo registro.
      • Abordagens de criação
        • Immon
          •  trata o desenvolvimento na ordem de cima para baixo, ou seja, o desenvolvimento na empresa ocorre como um processo único e, a partir do resultado, são criados os data marts para cada departamento da empresa.
        • Kimball
          • propõe um desenvolvimento de baixo para cima, que emprega uma modelagem dimensional, na qual são criadas várias data marts e integradas em um único DW
    • DW X DATA LAKE
      • Embora existam pessoas que tratem data lake e DW como sinônimos, os termos são dados em contextos e finalidades. Inclusive, a única similaridade é que ambos são repositórios de big data. Na prática, muitas empresas usam as duas soluções para atender às necessidades específicas e alcançar determinadas metas (SHARDA; DELEN; TURBAN, 2019)
      • Data Lake
        • Os dados em um data lake normalmente não sofre nenhuma transformação então o reaproveitamento se torna mais fácil. Na prática, você pode pensar em um data lake como um tipo de repositório que armazena conjuntos grandes e variados de dados brutos, pois não foram processados para uma finalidade específica, ou seja, os dados não atravessaram um processo de ETL como ocorre na construção de um DW. Enquanto um DW mantém dados somente estruturados, um data lake é capaz de armazenar diferentes tipos de dados no formato bruto, estruturados, não estruturados e semiestruturados, conforme mostra a figura 2.
      • Dados
        • Os data lakes geralmente incluem um banco de dados semântico e um modelo conceitual, que aproveita os mesmos padrões e tecnologias usados para criar hiperlinks da internet e adiciona uma camada de contexto sobre os dados, que define o significado dos dados e suas inter-relações com outros dados. As estratégias de data lake podem combinar abordagens de banco de dados SQL e NoSQL e recursos de processamento analítico on-line (Olap) e processamento de transação on-line (OLTP) (MILOSLAVSKAYA; TOLSTOY, 2016). 
        • Dados: em um DW armazenamos dados estruturados que passam por um processo de ETL, ou seja, antes da inserção em um DW os dados são formatados, transformados, agrupados e processados para gerar informação estratégica. Nos data lakes, os dados brutos podem ser armazenados com base em diferentes fontes no seu formato bruto, sem qualquer tipo de processamento prévio antes do armazenamento. 
      • Processamento
        • os DWs oferecem um esquema fixo e estruturado que pode favorecer o processo de consulta a dados usando linguagem SQL. Já os data lakes possuem um esquema flexível de armazenamento e a estrutura para leitura pode ser definida posteriormente à inserção. 
      • Velocidade de recuperação
        • pelo fato de possuir uma estrutura fixa e um esquema bem definido, a velocidade de recuperação nos DW são muito mais rápidas do que nos data lakes.
      • Agilidade
        • em contrapartida, o processo de armazenamento e configuração nos data lakes é muito mais ágil e flexível se comparado aos processos aplicados a um DW.
      • Custo de armazenamento
        • uma grande vantagem dos data lakes é o seu custo de armazenamento nos dados, que é muito mais baixo em relação aos DWs, sobretudo quando lidamos com big data.
      • Novidade
        •  os conceitos e as estruturas no campo de DW existem a quase 30 anos. São antigos se comparados ao campo de data lake, no qual as tecnologias estão surgindo e sendo atualizadas cada vez mais. 
      • Segurança
        • : pelo fato de os data lakes ainda estarem amadurecendo e os projetos de segurança estarem em constante evolução, consideramos a estrutura dos DWs muito mais confiável em termos de segurança. 
      • Usuário
        •  há alguns anos, os processos de análise de dados e inteligência de negócio são abordados por diversos profissionais de negócios do mundo; com relação aos data lakes, esses são explorados por cientista de dados que possuem habilidades em programação.
      • Lake House
        • Um novo conceito de arquitetura, chamada data lakehouse, foi introduzido recentemente como o passo seguinte no armazenamento de dados analíticos. Ela deve ser capaz de lidar com desafios atualmente intransponíveis que tanto os DWs quanto os data lakes não podem superar 
        • Características de um Data Lake
          • 1. Os dados possuem formatos que permitem acesso direto aberto, como apache parquet. 2. Os dados oferecem suporte de primeira classe para aprendizado de máquina e ciência de dados. 3. O desempenho do acesso e o processamento é de última geração. Lakehouses podem ajudar a enfrentar vários desafios importantes na construção de DWs, incluindo dados desatualizados, confiabilidade, custo total de propriedade, aprisionamento de dados e suporte limitado a casos de uso. 
      • Data discovery
        • , tem como objetivo responder às perguntas do usuário, valorizando o potencial dos dados e de análise dos profissionais de negócio. Sendo assim, é necessário existir uma parceria entre os especialistas de TI e os de negócio.
        • , tem como objetivo responder às perguntas do usuário, valorizando o potencial dos dados e de análise dos profissionais de negócio. Sendo assim, é necessário existir uma parceria entre os especialistas de TI e os de negócio.

Imagens e arquivos do mapa