Ecossistema Hadoop

Ecossistema Hadoop

1. Haddop

   • Open source
     • Processamento
       • Altos volumes e Variedade
         • Computação Larga Escala
       • Dados
         • Não Estruturados
         • Semi Estruturados
   • Tratar
     • Processar
       • Agrupar
         • Grandes volumes
   • Alta escalabilidade
     • Processamento de um nó para vários
     • HDFS
       • Sistema de Arquivos Distribuidos
     • MapReduce
       • Processamento distribuido
         • Dividir & Paralelizar
           • Entre diversos computadores

2. Componentes

   • Zookeeper
     • Coordenador
       • Serviços
         • Aplicações Distribuídas
       • Conjunto de Hosts
   • HIve
     • Data Warehouse
       • Armazenamento de dados
         • Relatórios e análises
     • LInguagem: HQL - Hive Query Language
     • Conexões ODBC / JDBC
       • Tableau
       • PowerBI
     • Orientado a Batch
       • Alta Latência
         • Execução de Queries
       • Gera Jobs map reduce
         • Rodam no cluster Hadoop
       • Armazena e pesquisa
         • Dados no HDFS
   • OOzie
     • Automatizar
       • Worflow
         • Jobs MapReduce
         • Diferentes Linguagens
           • Map Reduce
           • Pig
           • HIve

3. Skoop

   • importar e exportar
     • dados de bancos de dados relacionais
       • Bancos inteiros
       • Tabelas
   • SQL to Hadoop
   • Gera
     • classes Java
       • Interação com dados importados
   • Conexão JDBC
   • Cria
     • tabelas Hive
   • Suporta
     • importação incremental

4. Pig

   • Analisar
     • Dados de fluxos
   • Pig Latin Script Language
     • Lógicas de negócios
   • Runtime Engine
     • produz
       • sequencias programas MapReduce
     • Utiliza
       • HDFS
         • Armazenar e buscar dados
     • Interage
       • Sistema Hadoop

5. HBase

   • BD orientado a coluna
     • aproveita
       • tolerância a falhas do HDFS
     • tempo real
       • acesso aleatório de leitura
       • gravação
   • NoSQL
   • Modelo key-value
     • cada valor uma chave
     • tipo: byte-array
     • ordem pela chave
     • Acesso pela chave
   • Não possui schema
   • Arquitetura
     • Master
       • Somente um node
         • disponibilidade
           • ZooKeeper
       • operações de cluster
         • Assignment
         • Load Balance
         • Splitting
       • Monitora status Region Server
         • Atribui regiões
     • Region Server
       • Um ou mais
       • Armazenar
         • tabelas
       • Cliente
         • solicita operações de leitura e escrita
     • Regiões
       • Subconjuntos de dados de tabelas

6. Flume

   • move dados para HDFS
     • Streaming (fluxo constante)
   • Aplicações Analíticas online

7. Mahout

   • Biblioteca Machine Learning
     • Classificação
     • Clustering
     • Sistema Recomendação
   • Usa Modelo Map Reduce
     • Batch

8. Kafka

   • Gerencia fluxo de dados
     • Web Site
     • Aplicações
     • Sensores
   • Repositório Central de fluxo de dados
     • Integração de dados
     • Baixa Latência

Imagens e arquivos do mapa