Processo/Etapas de um Projeto de DW/Data Marts

Processo/Etapas de um Projeto de DW/Data Marts

1. Planejamento

   • Foco no Negócio
     • Define o escopo do projeto
     • Atentando-se nas áreas mais criticas da empresa
       • Melhoria de Competitividade
       • Novos mercados
   • Definição da Abordagem
     • Diz respeito à abordagem coorporativa escolhida para o projeto de DW/DM
     • Abordagem monolítica - Grande e fortemente integrada
     • Abordagem evolutiva - Disponibilização imediata dos produtos requeridos
   • Planejamento para Integração
     • • Principais dimensões requeridas
       • Métricas (dados)
       • Não é uma tarefa trivial, pode envolver o trabalho de várias áreas
       • Estabelecer uma visão de amarração, na medida em que as implementações forem realizadas separadamente.
     • O ideal é estabelecer um meio termo entre
       • Desenvolvimento gradual do DW/DM
       • Definição de dimensões conformes e métricas compatíveis
   • Definição da Arquitetura Tecnológica
     • • Ferramentas de Desenvolvimento de Sistemas OLAP e Mining
         • Produtos para execução de aplicações OLAP e em casos especiais, Data Mining
       • Catálogo para Controle de Metadados
         • Ferramenta desenvolvida internamente ou adquiridas no mercado, que objetiva o controle dos metadados do projeto e processos de ETL
         • Metadados representam a importante camada de documentação do DW/DM
           • Permitem que a empresa conheça os cubos de dados disponíveis, suas dimensões e métricas e as informações que lhe deram origem
       • Mecanismos para transferências de dados entre ambientes heterogêneos
         • Ferramenta de natureza variada que tem objetivo de facilitar a transferência entre ambientes heterogêneos
         • Podem ser:
           • Drivers Mapeadores
           • Gateways procedurais ou transparentes
           • Transferidores de arquivos
           • Qualquer tipo de mecanismo
         • Genericamente denominados Middlewares
       • Sistema Gerenciador de Banco de Dados (SGBD)
         • Ambiente no qual o Data Warehouse reside
         • Devendo ser uma máquina mais robusta
         • Ambiente de alta disponibilidade, performance e segurança dependendo do projeto
       • Ferramentas para Processos de ETL (Extração, Transformação e Carga)
         • Conjunto de ferramentas desenvolvidas internamente ou adquiridas no mercado para realizar o processo de transformação dos dados
         • Aspectos de qualidade e integridade dos dados é de fundamental importância para o sucesso do projeto
       • Servidor de Data Marts/Cubos
         • Ambiente onde reside o gerenciador dos Data Marts
         • Residem os Data Marts ou parte deles, na forma de extração ou cubos voltados para aplicações analíticas específicas
         • Representam extratos de um conjunto maior de dados
         • Normalmente estruturados no modelo dimensional
       • Extrato de dados para Data Mining
         • Representa o armazenamento de informações de forma especial
         • Tem como objetivo atender os requisitos de Data Mining aplicados a sistemas de inferência de informações
     • Fundamental que os componentes básicos da arquitetura sejam definidos antes do início do projeto de DW/DM.

2. Levantamento das Necessidades

   • • Deverão ser identificados dois modelos
       • Modelo Dimensional
         • Dados que vão ser modelados deverão ser garimpados nos seus vários níveis de detalhes e sumarização
       • Modelo de Fonte de Dados
         • Blocos conceituais de dados existentes deveram ser registrados
     • A qualidade e a integridade dos dados Fonte deverão ser observadas cuidadosamente, além de sua duração histórica
     • Para as cargas iniciais, às vezes, a empresa não possui toda a informação histórica requerida
       • É importante a presença dos analistas de sistemas envolvidos com os sistemas de modelo Fonte, além de usuários e equipe de tecnologia da informação
       • Analistas de sistemas envolvidos com os sistemas de modelo Fonte são os grandes conhecedores!

3. Modelagem Dimensional

   • Representa a fronteira entre o sucesso e o fracasso do projeto de um Data Warehouse
   • Dados requerem diferentes observações, nem sempre percebidas no modelo convencional de banco de dados
     • O dado importante é aquele consolidado nas dimensões específicas
     • Volume bruto de dados deverão passar por análise cuidadosa
   • Tarefas de modelagem dimensional deverão ser suportadas por planilhas de apoio
     • Facilitam os calculos
     • Facilitam as estimativas de carga
     • Facilitam o volumes projetados

4. Projeto Físico dos Bancos de Dados

   • Estruturas lógicas do modelo Dimensional são desenhadas
   • São definidas:
     • Tabelas Fatos
     • Tabelas Dimensões
     • Relacionamentos
     • Indexação
     • Atributos das tabelas
   • Para o armazenamento de dados, a equipe projetista deverá considerar o uso de SGBD
     • Relacional
     • Dimensional

5. Projeto de ETC - Extração. Transformação e Carga

   • • Condensação de Dados
       • Define a forma de reduzir o volume de dados visando obter informações resumidas e sumarizadas. Essas sumarizações acontecem normalmente nas dimensões dos dados
     • Filtro dos Dados
       • Relaciona os procedimentos e condições para eliminar os elementos de dados indesejáveis no modelo Dimensiona
     • Derivação de Dados
       • Define os meios e formas de produzir dados virtuais a partir de dados existentes
     • Integração de Dados
       • Define a forma de se correlacionar informações existentes em fontes distintas e que deverão se integradas no sistema gerencial
     • Conversão de Dados
       • Define os procedimentos para se transformar dados em diferentes
         • Unidades
         • Formatos
         • Dimensões
   • São definidos os processos requeridos de transformação do modelo Fonte para o modelo Dimensional

6. Desenvolvimento de Aplicações

   • • Deverá priorizar a interface Web
       • Facilitando o acesso aos dados
       • Via browser
       • Evitando necessidades de instalação de software
       • Cuidado com telas carregadas e o excesso de informações
     • Escolher ferramentas que possibilitam:
       • Interface amistosa
       • Geradores de Relatórios
       • Condição de visualização dos dados de diferentes formas
       • Importação dos dados obtidos
         • Planilhas
         • Editores de texto
     • Hoje em dia existem no mercado ferramentas dedicadas para o desenvolvimento de aplicações OLAP
   • Será projetado o sistema aplicativo

7. Validação e Teste

   • • Fase em que o sistema é testado
     • Considerando-se simulações de volume e processamentos
     • O sistema deve ser liberado inicialmente para um grupo restrito de usuários
     • Após análise dos feed-backs, será entregue ao ambiente produtivo

8. Treinamento

   • • Treinamento deverá ser formado, prioritariamente, pelos usuários voltados para atividades de negócios, além de gerentes das áreas envolvidas

9. Implantação

   • • Deverá ser seguida de um rigoroso acompanhamento de uso das aplicações disponibilizadas
     • Equipe do projeto deverá incentivar os usuários a apresentarem críticas e sugestões de melhorias para as próximas versões do sistema
     • Construção do diretório dos metadados do projeto em paralelo as etapas anteriores
       • O diretório deverá ter um front-end amistoso
         • Permitindo o usuário obter informações necessárias ao uso do sistema
       • O dicionario de dados deverá conter os metadados para descrever os dados
         • Modelo Fonte
         • Suas transformações
         • Modelo Dimensional
         • Formas de acesso e disponibilização

Bilder und Dateien der Mindmap