Big Data: Ferramentas e Aplicabilidade

Big Data: Ferramentas e Aplicabilidade

1. ENTENDENDO O BIG DATA

   • Os dados são qualificados em três categorias: dados estruturados, pertencentes a um SGBD relacional com esquema relacional associado, dados semiestruturados, que são irregulares ou incompletos não necessariamente de acordo com um esquema, compreensíveis por maquinas mas não por seres humanos, como documentos HTML e logs de web sites , e dados não estruturados, sem estrutura prévia nem possibilidade de agrupamento em tabelas, como vídeos, imagens e emails.(Intel 2015)
     • desafio para as ferramentas de Big Data é entre outros a manipulação de dados semiestruturados e não estruturados no intuito de extrair valor destes através de correlações e outros processamentos de análise e então compreendê-los para que tragam valor ao determinado meio aplicável
       • Cezar Taurion(2013), em seu livro Big Data, faz uma analogia em que as ferramentas de Big Data, representarão para as corporações e para a sociedade a mesma importância que o microscópio representou para a medicina. Uma ferramenta de análise onde se pode extrair informações, prever incidentes e ter a capacidade de corrigi-los quando existentes, ou até mesmo evitá-los

2. SISTEMAS TRADICIONAIS X SISTEMAS DE BIG DATA ANALYTICS

   • A diferença no processamento de dados de modelos tradicionais (SQL) para modelos de Big Data Analytics, começa pela diferença entre escalabilidade vertical e horizontal.
   • quantidade de dispositivos somada aos diversos formatos de arquivos, e a necessidade da extrair de valor dos mesmos, mostrou a limitação dos modelos relacionais, que serviam bem para o tratamento de dados estruturados, mas não possibilitavam o tratamento de dados semiestruturados ou não estruturados
   • Além da maior quantidade de dados, sistemas NOSQL são preparados para trabalhar em sistemas instáveis em relação aos modelos RMDBS (Sistema de gestão de Bancos de dados Relacionais), tendo um processamento mais complexo.
     • busca-se manter as propriedades Acid (Atomicidade1 , Consistência2 , Isolamento3 e Durabilidade4 . No entanto em modelos não relacionais, onde o fluxo de dados é maior, torna-se impossível mantê-las, surgindo então as propriedades Cap (Consistency, Availability e Partition Tolerance). Sendo possível escolher apenas duas, a corporação deverá escolher se prefere um sistema sempre disponível, tolerante a falhas, ou consistente, em que todos os usuários terão a mesma informação ao mesmo tempo

3. FERRAMENTAS

   • AMBIENTES EM NUVEM
     • A escalabilidade permite que as configurações de nuvem, quanto ao número de visitas ao sistema, desempenho, processamento dos dados entre outros, seja aumentada somente quando a empresa realmente necessite disso
     • A queda no preço de armazenamento ao longo dos anos, aliada à elasticidade que ambientes em nuvem oferecem facilitam o acesso a esses serviços até mesmo para corporações que não tem muito dinheiro para investir.
   • HDFS
     • O Hadoop Distributed File System ou Sistema de arquivos distribuídos surge com a necessidade de se trabalhar com arquivos grandes. O HDFS faz a quebra em blocos desses arquivos e os distribui em diversos nós (máquinas), com replicação em grau três como segurança no caso de um nó falhar
   • YARN
     • É um gerenciador de recursos distribuídos do cluster. Através do Resource Manager, realiza a locação de recursos nos nós do cluster para a realização de tarefas das aplicações.
   • MAP REDUCE
     • É o sistema analítico do Hadoop desenvolvido para operar com grandes volumes de dados. Segue o principio da localidade em que o código é enviado para o local onde os dados estão para ser processado.
   • HADOOP
     • É a ferramenta mais importante de Big Data. Através de nós de clusters usa computação distribuída com alta escalabilidade, tolerância a falhas e confiabilidade. Sendo uma plataforma Java de computação, ela é voltada para clusters e processamento de grande volume de dados A ideia principal do Hadoop é tratar essa grande quantidades de dados sem ter a necessidade de copiar esses dados em outro servidor, o que ocasionaria mais tempo e investimento
   • MPP
     • é um paradigma de Big Data, feito para processar grandes quantidades de informações, é escalável em relação a quantidade de dados, e suporta linguagem SQL e tabelas relacionais
   • HBASE
     • É um banco de dados Nosql que processa grandes volumes de dados de maneira rápida e em tempo real
   • SPARK
     • Ferramenta de processamento de dados que roda até 100 vezes mais rápido que o Map Reduce. Como o Map reduce não processa bem todos os algoritmos, o Spark atua sendo mais abrangente na questão de diferentes tipos de processamento
   • MACHINE LEARNING
     • Machine Learning é o termo que designa o processo de ensinamento da maquina a “entender” dados que a princípio parecem não fazer sentido, processá-los e tirar algum valor disso.

4. CASOS DE USO

   • A aplicabilidade do Big Data Analytics pode ocorrer em diferentes ramos, trazendo melhoria a processos organizacionais e apoio a tomada de decisões, tal qual Business Intelligence, que através das informações coletadas, toma estratégias para um melhor desempenho na área aplicada, e indo mais além, podendo inclusive prever tendências com base na análise de dados. exemplo:
     • SAÚDE
       • possível cruzar diversas informações como dados de poluição atmosférica, sintomas de determinada doença feitos em uma consulta médica, até mesmo postagens feitas em redes sociais de pessoas falando que estão com determinada doença. Toda essa informação pode ser correlacionada para poder chegar a conclusões como, em que região determinada doença está mais presente.
     • EMPRESA DE TRANSPORTE AÉREO
       • Através de informações obtidas por meio de sensores acoplados no avião, em um voo transatlântico a empresa obtém 640 Terabytes de dados, e com esses dados em mãos, consegue prever diversas situações como tempo para uma nova revisão no avião, quando será necessário fazer abastecimento, entre outras informações que auxiliam na tomada de decisão
     • SEGURANÇA PUBLICA
       • Através de diversas câmeras de segurança, sensores, informações de terceiros, e uma monitoração de dados por uma central, é possível controlar lugares suscetíveis a crimes, horário em que comunmente delitos ocorrem, e deslocar tropas para determinado local antes que o delito ocorra, ou em caso da fuga do criminoso, é possível organizar tropas policiais, com base na rota de fuga e por meio da central orientar a tropa sobre qual caminho mais eficiente a ser tomado para a captura do criminoso