CAPÍTULO 03

CAPÍTULO 03

1. O QUE É BIG DATA?

   • Dados são informações provenientes de uma variedade de fontes, como pessoas, fotos, texto, sensores e sites da Web.
   • Big Data é um grande volume de dados, mas o que é um grande volume? Ninguém sabe o número exato que diz quando os dados de uma empresa são considerados "Big Data".
   • QUAIS SÃO OS DESAFIOS DO BIG DATA?
     • Estimativas de Big Data da IBM concluem que "cada dia criamos 2,5 quintilhões de bytes de dados". Para colocar isso no contexto, a cada minuto todos os dias
       • Carregamos mais de 300 horas de vídeo do YouTube; Enviamos mais de 3,5 milhões de mensagens de texto; Fazemos streaming de mais de 86 mil horas de vídeo da Netflix; Curtimos mais de 4 milhões de postagens do Facebook; Solicitamos mais de 14 milhões de previsões do The Weather Channel.
         • Com este enorme volume de dados sendo criado constantemente, as tecnologias e depósitos de dados tradicionais não podem acompanhar as necessidades de armazenamento. Mesmo com as instalações de armazenamento em nuvem, que são disponibilizadas por empresas como a Amazon, Google, Microsoft e muitas outras, a segurança dos dados armazenados se torna um grande problema.
   • ONDE PODEMOS ARMAZENAR O BIG DATA?
     • Em geral, o big data é armazenado em vários servidores, normalmente dentro de data centers. Para segurança, acessibilidade e redundância, normalmente os dados são distribuídos e/ou replicados em vários servidores diferentes, em diversos data centers
     • COMPUTAÇÃO EM NEBLINA: A computação em neblina é uma arquitetura que usa dispositivos clientes ou “edge” dos usuários finais para fazer uma quantia considerável do pré=processamento e do armazenamento necessários para uma organização. A computação em neblina foi criada para manter os dados mais próximas da origem para pré processamento.

2. CONJUNTO DE DADOS GRANDES:

   • As empresas não devem, necessariamente, gerar seus próprios Big Data. As empresas menores podem não ter os sensores, o volume de clientes ou a capacidade de gerar a variedade de informações que podem se beneficiar suas empresas.

3. A NUVEM E A COMPUTAÇÃO EM NUVEM:

   • A nuvem é um conjunto de data centers ou grupos de servidores conectados. O acesso ao software, armazenamento e serviços disponíveis nos servidores é obtido por meio da Internet através de uma interface de navegador. Os serviços em nuvem são fornecidos por muitas empresas de grande porte, como a Google, Microsoft e Apple. Os serviços de armazenamento em nuvem são fornecidos por diferentes provedores, como: Google Drive, Apple iCloud, Microsoft OneDrive e Dropbox.
     • Do ponto de vista individual, o uso dos serviços em nuvem permite:
       • Armazenar todos os dados, como fotos, músicas, filmes e e-mails, liberando espaço em disco rígido local; Acessar vários aplicativos, em vez de baixá-los no dispositivo local; Acessar os dados e aplicativos em qualquer lugar, a qualquer momento e em qualquer dispositivo.

4. PROCESSAMENTO DISTRIBUÍDO:

   • Do ponto de vista de gerenciamento de dados, a análise era simples quando só os seres humanos criavam dados. O volume de dados era gerenciável e relativamente fácil de examinar. No entanto, com a explosão dos sistemas de automação empresarial e o crescimento exponencial de aplicativos da Web e dados gerados por máquina, a análise está se tornando cada vez mais difícil de gerenciar. Na verdade, 90% dos dados existentes atualmente foram gerados apenas nos últimos dois anos. Esse volume maior em um curto período é uma propriedade de crescimento exponencial. Esse grande volume de dados é difícil de processar e analisar em um prazo aceitável.

5. ANALIZAR O BIG DATA PARA USO EFICAZ NAS EMPRESAS:

   • Big data é exatamente isso – GRANDE! É muito útil se você puder analisá-lo para obter valor. A análise de dados é o processo de inspeção, limpeza, transformação e modelagem de dados para descobrir informações úteis. A análise de Big Data normalmente exige ferramentas e aplicativos criados para essa finalidade. Essas ferramentas de análise foram desenvolvidas para fornecer às empresas informações detalhadas, padrões e insights valiosos.
     • Antes de iniciar uma análise, é fundamental saber qual é o problema que a empresa está tentando solucionar ou quais informações a empresa está procurando. Estão interessados no comportamento do cliente em estados específicos, padrões de consumo de energia em diferentes quadrantes da cidade ou no número de "curtidas" do Facebook com base na idade.