Ferramentas BIG DATA

Ferramentas BIG DATA

1. Hadoop

   • Desenvolvido em 2006 no Yahoo, as atualmente e da Apache
   • É uma plataforma de software distribuído, construído em Java e mantido atualmente pela Apache Foundation
   • Computação distribuída é voltada para clusters horizontais, permitindo o processamento de grandes volumes de dados
   • Um dos principais destaques deste tipo de tecnologia é a premissa de tolerância a falhas no hardware.
   • Arquitetura do Ecossistema
     • Hadoop Commom
       • Sistema de bibliotecas e arquivos necessários para executar todos os processos internos do Hadoop
     • Hadoop Distributed File System (HDFS)
       • Sistema de arquivos distribuídos de armazenamento físico de dados. O HDFS garante o armazenamento físico dos dados no cluster;
     • Hadoop Yarn
       • É a plataforma de gerenciamento de recursos computacionais existentes nos servidores apresentados ao cluster, também pelo agendamento e requisições dos recursos
     • MapReduce
       • MapReduce é um modelo de programação que utiliza processamento em larga escala, desenvolvido nos pilares da arquitetura Massive Parallel Program (MPP)
       • Desenvolvido pelo Google
       • Map
         • O processo de Map faz com que a requisição do solicitante seja enviada para o nó do cluster que possui aquele dado
       • Reduce
         • O processo de Reduce consolida os resultados processados em diversos nós do cluster e os entrega numa saída única
   • Empresas que Utilizam
     • Adobe
     • Ebay
     • Google
     • Facebook
     • Spotify
     • Linkedin
   • Distribuição
     • Estas distribuições estendem o núcleo primário, aumentando funcionalidades e facilidades de implementações
     • Cloudera
       • Ela agrega um grande número de melhorias, como uma ferramenta de gestão e monitoramento, chamada Cloudera Manager, e também o Cloudera Impala, um engine SQL que trabalha com dados relacionais no Hadoop
     • Hortonworks
       • É a distribuição de Hadoop mais próxima do código original, está linha foi seguida com o objetivo de construir o ecossistema e manter a evolução dos códigos sob a licença open source, focando em beneficiar os usuários e evitando que fiquem amarrados a apenas um fornecedor
     • IBM
       • Em 2013 a IBM comprou a empresa de computação em nuvem chamada Softlayer, A empresa tinha como foco fazer frente a outros players que atendiam em escalas menores, coisa que a IBM não fazia por ser reconhecida mundialmente nas entregas de grandes projetos, visando sempre grandes empresas, com isso a IBM tornou-se um grande player no mundo Hadoop
     • MIcrosoft
       • A empresa conseguiu desenvolver uma distribuição Hadoop que atende a uma grande faixa de profissionais de infraestrutura e conquistou isso ao habilitar o Hadoop para rodar em Windows. Porém, quem quiser se manter fiel ao Linux também pode; o Azure tem uma grande quantidade de distribuições Linux disponíveis para uso
   • Ferramentas Auxiliares
     • O ecossistema possui muitas funcionalidades orbitando o núcleo do Hadoop. Estas ferramentas auxiliares permitem que o trabalho seja entregue de ponta a ponta, isto é, auxiliam que tarefas complexas sejam desenvolvidas por agentes especializados.
     • HBase
       • É um banco de dados colunar e distribuído, escrito em Java e desenhado a partir do Google BigTable. Integra-se de forma simples e rápida com o Hadoop, podendo utilizar o MapReduce para distribuição do processamento
     • Sqoop
       • É a ferramenta para trabalhar com movimentação de dados entre o Hadoop e uma base de dados SQL-Like. É possível seguir os conceitos de cargas incrementais, permitindo o acréscimo de novos dados nas tabelas de destino.
     • Mahout
       • O processo de Learning Machine (aprendizado de máquinas) em um cenário com integração ao Hadoop pode ser feito através do Mahout
     • Hive
       • É uma abordagem de Data Warehouse para o Hadoop, permitindo que o MapReduce seja realizado por meio de processamento distribuído
     • Pig
       • É uma linguagem de programação de alto nível para o Hadoop. Sua sintaxe é o Pig Latin, semelhante a uma linguagem procedural, que permite abstrair a programação avançada em Java para o MapReduce. Normalmente os programas escritos em Pig são focados para resolver problemas de Sistemas Gerenciadores de Bancos de Dados Relacionais (SGBDR)
     • Avro
       • É um sistema de serialização de dados, que usa o formato JavaScript Object Notation (JSON) para definição de seus tipos de dados e protocolos. É comum o Avro servir de fonte de dados para o Hadoop e para o Spark. Seus arquivos são compostos por um cabeçalho e por blocos de dados.
     • Zookeeper
       • É uma ferramenta que ajuda na organização da distribuição dos recursos do projeto. Pensando em escalabilidade, quando seu projeto precisar de diversos servidores do seu parque tecnológico, a chance de problemas acontecerem é quase inevitável.

2. Spark

   • O Spark foi desenvolvido em 2009, na Universidade de Berkeley, na Califórnia, e doado para a fundação Apache, em 2013
   • Spark permite a aceleração do processamento por utilizar recursos de paralelismo implícito dos dados e também do processamento em memória, ao invés de usar exclusivamente o disco
   • A diferença principal entre o MapReduce e o Spark é que o último trabalha como programa distribuído e oferece uma forma deliberadamente restrita de memória compartilhada distribuída. Este processo paralelo é mais rápido que o processo linear, apresentado no MapReduce, e reduz a latência
   • 9 vezes mais rápido que o Handoop
   • Arquitetura do Ecossistema
     • Spark SQL
       • Com ele é possível trabalhar tanto com dados estruturados quanto com semiestruturados. O suporte da linguagem SQL é nativo, mas também é possível manipular os dados com Scala, Java ou Python.
     • Spark Streaming
       • Aproveita a velocidade do agendamento de tarefas do Spark Core para executar as rotinas de fluxo da transmissão
     • Machine Learning Library (MLlib)
       • Esta estrutura de aprendizagem de máquinas é muito mais rápida no momento de processar e criar modelos preditivos em comparação ao Mahout. Estudos apontam para uma taxa de velocidade até 9 vezes maior
     • GraphX
       • Possibilita que a ferramenta tenha uma abordagem de grafos. Um ponto de atenção sobre o seu funcionamento é que o GraphX roda a partir dos RDDs, e, como os RDDs são imutáveis, o grafo também não pode sofrer mudanças