Ecosistema Hadoop

Ecosistema Hadoop

1. DATA INTEGRATION

   • Sqoop
     • Tem o objetivo de executar a transferência eficiente e bidirecional de dados entre o Hadoop e diversos serviços de armazenamento externo de dados estruturados, para o HDFS. SQL para Hadoop
       • Auxilia no processamento de bases de dados relacionais
         • Integra bases de dados relacionais com dados presentes no Hadoop
           • Arquiva dados no Hadoop

2. QUERY

   • Hive
     • Permite o resumo de dados, consultas e análise de dados. Consultas de hive são escritas em HiveQL, que é uma linguagem de consulta semelhante ao SQL.
       • Trabalha com dados estruturados e semi-estruturados

3. SCRIPTING

   • Pig
     • Uma plataforma para criar programas para o Hadoop usando uma linguagem de procedimento conhecida como Pig Latin. O Pig é uma alternativa ao Java para a criação de soluções de MapReduce
       • Um dos desafios do processamento de dados usando o MapReduce no Hadoop é implementar a lógica de processamento usando somente um mapa e uma função de redução. Em processamentos complexos, é comum você precisar dividir o processamento em várias operações de MapReduce e depois encadeá-las para atingir o resultado desejado.
         • Carga: ler dados a serem manipulados no sistema de arquivos
           • Transformação: manipular os dados
             • Despejo ou armazenamento: a saída dos dados na tela ou armazenamento para processamento

4. Se houver a necessidade da análise dos dados em tempo real, é o Spark entra em cena

   • Spark, uma ferramenta para a compreensão dos dados. Se Hadoop é a Bíblia escrita em russo, Spark é um dicionário de russo.
     • Spark

5. STORING

   • HBase
     • É um banco de dados não relacional de código aberto criado a partir do Google BigTable e escrito em Java.
       • Permite acesso aleatório, estável e em tempo real
         • Os dados são armazenados nas linhas de uma tabela e os dados contidos nas linhas são agrupados por famílias de colunas.