Extraction, Transformation and Load (ETL)

Extraction, Transformation and Load (ETL)

1. ETL

   • Características
     • O processo de ETL é o mais crítico e demorado na construção de um DW
     • ETL e as ferramentas de limpeza de dados consomem 1/3 do orçamento do projeto de DW e 80% do tempo de desenvolvimento de um DW
   • Componentes de ETL
     • Extração
       • Sistema de extração: Extração dos dados das fontes de origem
       • Data profiling (Perfil de dados): Técnica que descreve o conteúdo, consistência e estrutura dos dados
       • Sistema de captura das alterações nos dados (CDC): Transfere os dados que foram alterados desde a última carga
     • Limpeza e conformidade
       • Sistema de limpeza de dados
         • Correção de dados sujos
         • Espera-se igualmente que o DW forneça um quadro preciso dos dados à medida que forem capturados das fontes
       • Esquema de eventos de erro: Registra todos os eventos de erro por uma tela em qualquer lugar do fluxo do mapa ETL
       • Dimensão de auditoria: Contém o contexto dos metadados no momento em que uma linha específica da tabela fato é criada
       • Sistema de deduplicação
       • Sistema de conformidade: Faz ajustes e verificações dentro do processo de ETL
     • Entrega: Prepare-se para apresentação
       • Gestão da alteração lenta da dimensão
       • Gerador de chave substituta
       • Gerência de hierarquia
       • Gerência de dimensões especiais
       • Construtores da tabela fato
       • Pipeline da chave substituta
       • Construção da tabela ponte para dimensões multivaloradas
       • Gerenciador de dados atrasados
       • Sistema de gerenciamento das dimensões
       • Sistema provedor de fatos
       • Construção dos agregados
       • Construção do cubo OLAP
       • Gerência da propagação de dados
     • Gerenciando o sistema de ETL
       • Critérios a cumprir
         • Confiabilidade: Os processos de ETL devem ser executados consistentemente
         • Disponibilidade: O DW deve cumprir seus acordos de nível de serviço (SLA)
         • Gerenciamento: Evolução constante dos processos de ETL
       • Subsistemas
         • Agendador de Jobs
         • Sistema de backup
         • Sistema de recuperação e restart
         • Sistema de controle de versão
         • Sistema de migração de versão
         • Workflow monitor
         • Sistema de ordenação
         • Analisar de ancestrais e dependência
         • Sistemas para problema em escala
         • Sistema de paralelismo de escala
         • Sistema de segurança
         • Gerenciamento de conformidade
         • Gerenciar repositório de metadados
   • Questões que requerem atenção antes do início de um processo de ETL
     • É preciso entender as necessidades do negócio e a conformidade legal ou contexto legal do sistema
     • Deve-se definir o nível da qualidade para o dado ser aceito ou não
     • É preciso entender os requisitos de segurança e privacidade
     • Deve-se entender como os se integram e a latência dos dados
       • A latência descreve o quão rápido os dados das fontes de origem devem ser entregues aos usuários de negócio via sistema de BI/DW
     • Deve-se listar todas as tabelas de fato e de dimensão que serão diretamente expostas as ferramentas de BI
       • Listagem de todos os cubos OLAP e estruturas de dados especiais exigidos por ferramentas de BI
       • Listagem de todos os índices conhecidos e agregações cuja construção foi acordada para apoiar o desempenho do sistema de BI
     • Deve-se listar os sistemas legados e avaliar se seu uso é obrigatório ou meramente recomendado

Imagens e arquivos do mapa