Data Warehouse: Arquitetura e processo de DW

Data Warehouse: Arquitetura e processo de DW

1. Data Warehouse

   • Processo de Data warehouse
     • Fontes de dados
       • Sistemas legados
       • Provedores de dados externos
       • Sistemas de ERP
       • Processamento de transações online (OLTP)
       • Dados na forma de log
     • Processo de ETL
       • Extração e transformação de dados
       • Carregamento dos dados
         • Dados são carregados para uma área de preparação (Staging area) onde são transformados e limpos
         • Ao final, os dados estão prontos para carregamento no DM ou DW
     • Banco de dados abrangente
       • EDW para apoiar todas as análises de suporte à decisão
       • Fornece uma visão resumida relevante e informações detalhadas proveniente de fontes diferentes
     • Ferramentas de middleware
       • Habilitam o acesso ao DW
       • Usuários avançados, como os analistas de BI, podem escrever suas próprias consultas SQL
       • Muitas aplicações front-end podem ser utilizadas para interação com os dados
     • Metadados
   • Arquitetura de Data warehouse
     • Camadas
       • Primeira camada
         • Sistemas operacionais: Fonte de dados
         • Sistema de ETL: Método de extração e tratamento de dados
       • Segunda camada
         • Área de apresentação de dados: Data warehouse
       • Terceira camada
         • Aplicações de BI: Permite usuários acessar e analisar dados do a partir do DW
     • Tipos de arquitetura
       • Data Marts (DM) independentes
         • Problemas com independência
           • Definições de dados inconsistentes
           • Diferentes dimensões e medidas
           • Torna difícil analisar os dados através dos DMs
         • Arquitetura mais simples e menos onerosa
         • Os DMs são desenvolvidos para operar de forma independente
           • Visam atender às necessidades das unidades organizacionais individuais
       • Arquitetura de barramento de Data Mart (KIMBALL)
         • Alternativa viável para os DMs independentes
         • DMs individuais são ligados entre si através de algum tipo de middleware
           • Há uma melhor chance de manter consistência entre dados de toda empresa
             • Pelo menos em termos de metadados
           • Permite consultas complexas utilizando dados de diversos DMs
             • Desempenho deste tipo de análise pode não ser satisfatório
       • Hub-and-Spoke/DW em estrela (Inmon)
         • Talvez a mais famosa arquitetura de DW
         • Focada na construção de uma infraestrutura escalável e sustentável
           • Desenvolvida de forma iterativa, assunto por assunto
           • Composta por um DW centralizado e vários data marts dependentes: Um para cada unidade organizacional
         • Permite uma customização fácil de interfaces de usuário e relatórios
         • Desvantagens
           • Não tem uma visão holística
           • Pode levar a redundância e a latência de dados
             • Latência dos dados refere-se ao tempo máximo permitido para disponibilização dos dados através do sistema de BI
       • Data Warehouse centralizado
         • Similar à arquitetura hub-and-spoke
           • Porém sem uso de Data marts
           • Há um data warehouse da empresa inteira que serve a todas as unidades organizacionais
         • Fornece aos usuários acesso a todos os dados no DW
           • Acesso não é limitado a DM de dados
         • Vantagens
           • Redução da quantidade de dados transferidos pela equipe técnica
             • Simplificação do gerenciamento e administração de dados
           • Quando bem projetado e implementado, tem-se uma visão oportuna e holística da empresa
       • Armazém de dados federado
         • Integra sistemas distintos
           • Através do uso de middlewares
           • Sem necessidade de ETL
         • Estruturas existentes são deixadas no lugar
           • Os dados são usados dessas fontes conforme a necessidade
         • As ferramentas de middleware são baseadas em eXtensible Markup Language (XML)
           • Oferecem aos usuários uma visão global das fontes de dados distribuídas
         • Desvantagens
           • Viável apenas para um pequeno volume
           • Problema com metadados
           • Problema com largura de banda e unificação

Images and files in the map