Ferramentas de Big Data

Ferramentas de Big Data

1. O que precisa ser levado em consideração para escolher uma ferramenta para Big Data?

   • Tamanho do conjunto de dados
   • ​ Tipo de análise realizada
   • ​ Resultado esperado

2. Ferramentas

   • Hadoop
     • grande capacidade de processamento de dados em larga escala e poderá ser executada a partir de nuvem ou data center local​
     • funcionalidades
       • Mapreduce
         • programação para processamento em Big Data
       • Biblioteca
         • Auxilia outros módulos trabalhar com Hadoop​
       • HDFS
         • Sistema de arquivos distribuídos do Hadoop
       • Yarn
         • Plataforma para gerenciar os recursos do Hadoop
   • Apache Spark
     • pode processar os dados em lote em tempo real.
       • características
         • Processa dados em memória (de forma mais rápida)​ ​ ​
         • Trabalha com HDFS​ ​
         • Permite transmissão de tarefas distribuídas​
         • ​ Alternativa para MapReduce (100 vezes mais rápida)​
   • Cassandra
     • banco dados e melhor ferramenta para processamento de dados estruturados
       • características
         • ​ Alta disponibilidade como fonte de dados
         • Operações simples​
         • Escalabilidade
         • Pontos de disponbilidade na nuvem
   • RapidMiner
     • permite a realização de operações de ciência de dados
   • MongoDB
     • banco de dados NoSQL, ideal para empresas que precisam de dados rápido em tempo real para tomada de decisão​
   • Programação R
     • Possui uma biblioteca pública (CRAN) que permite qualquer pessoa fazer uma análise estatística
       • Pode ser utilizado em Windows, Linux
       • Suporta Hadoop e Spark
       • Possui portabilidade
   • Apache SAMOA
     • plataforma de aprendizado de máquina de streaming distribuído para mineração de Big Data
   • HPCC
     • uma plataforma com cluster de computação de alto desempenho que possui os seguintes recursos ​