BIG DATA

BIG DATA

1. Grandes cjs de dados, estruturados ou não, q são de dificil processamento nos sistemas tradicionais

2. 3 Vs:

   • Volume
     • quantidade de dados produzidos
   • Velocidade
     • rapidez com que esses dados são gerados e atualizados
   • Variedade
     • diferentes estruturas em que os dados se encontram hoje

3. 5 Vs:

   • Volume; Velocidade; Variedade; Veracidade; Valor
     • Veracidade: confiabilidade e com a organização dos dados
     • Valor: confiabilidade e com a organização dos dados
       • características + importantes e + simples de se entender do big data. ferramentas q nos permitam coletar, processar e analisar dados q se amoldem aos outros quatro Vs. Mas, se ñ conseguirmos extrair algo de valor disso, o big data se torna somente mais uma “armadilha” p/ o desperdício de recursos

4. Big Data Analytics

   • termo que se refere à análise desses conjuntos grandes e complexos de dados estruturados e não estruturados.
     • São utilizadas ferramentas e equipamentos de alta performance, muitas vezes com o auxílio de computação distribuída (utilizando várias máquinas em um trabalho coordenado).
       • Geralmente envolve a utilização de algoritmos estatísticos avançados e análise preditiva, apontando o que está por vir no futuro e indicando tendências.

5. Aplicações

   • inúmeras aplicações nos mais diversos setores da sociedade
     • Governos podem utilizar essas técnicas para aprimorar serviços públicos
     • análise de movimentações em mercados financeiros com a finalidade de regulação e fiscalização, detecção de fraudes
     • pesquisas no âmbito do sistema público de saúde - onde melhor alocar recursos para aprimorar o atendimento à população, e assim sucessivamente.

6. Cloud Computing (Computação na Nuvem)

   • ramo da computação que diz respeito a uma grande variedade de serviços de hardware e software que são providos através da internet
     • soluções na nuvem se destacam principalmente por oferecer uma grande elasticidade.

7. Raspagem de dados (Scraping)

   • web scraping, ou de raspagem de dados na web
     • scrapers são softwares que têm como objetivo extrair grandes volumes de dados da internet, predominantemente não estruturados, como dados em formato textual (posts em redes sociais, blogs, etc.).

8. NoSQL

   • (Not Only SQL, ou não apenas SQL)
     • bancos de dados voltados para situações em que o modelo relacional não é apropriado
     • costumam ser implementados de foram distribuída
   • Tipos de Sistemas NoSQL
     • Chave-valor (key-value)
     • Orientado a documentos
     • Baseado em grafos
     • Orientado a colunas

9. Hadoop

   • projeto de código aberto
   • plataforma composta por diversos módulos que permitem realizar diversas tarefas associadas a big data analytics
     • HDFS (Hadoop Distributed File System)
       • sistema de armazenamento de arquivos, permite o acesso aos dados armazenados em sistemas distribuídos de forma eficiente
     • MapReduce
       • abordagem de programação utilizada para processar um grande volume de dados de forma distribuída
         • Falhas de hardware
         • Streaming de dados
         • Grandes conjuntos de dados
         • Modelo simples de coerência
           • modelo de acesso write-once-read-many
         • Computação próxima aos dados
         • Portabilidade de hardware e software heterogêneos
     • Yarn
       • Apache Hadoop Yarn componente que se destina a gerenciar os vários nós nos clusters (os conjuntos de nós atuando de forma distribuída), permitindo o agendamento de tarefas em cada um e gerenciamento de recursos computacionais entre eles.