Big Data

Big Data

1. Dados digitalizados

   • Aumento do acesso a dispositivos eletrônicos e popularização da internet
     • 2000
       • 25%
     • 2007
       • 93%
     • 2013
       • 98%

2. Origem de dados

   • Web e redes sociais
   • Dados de biometria
   • Dados de transações
   • Dados gerados por pessoas
   • Dados machine to machine

3. VS

   • Manter as plataformas e sistemas em harmonia para gerar o resultado esperado
     • Volume
     • Variedade
     • Velocidade
     • Veracidade
     • Valor

4. SQL

   • Processamento de dados de modelos tradicionais
     • Escabilidade vertical
       • Aprimora-se o processamento dos dados
     • Business Intelligence
       • Técnica de gerenciamento de negócios orientado á análise de informações
     • ETL
       • Extração,Transformação e Carregamento
         • Coleta de dados de todos os tipos e formatos e tranformação através de algoritmos
     • OLAP
       • Processo analítico Online
         • Tomada de decisões através de cubos multidimensionais oferecem diferentes perspectivas sobre informações da empresa
     • NOSQL
       • Preparados para trabalhar en sistemas instáveis em relação aos modelos RMDBS

5. Propriedades

   • ACID
     • Atomicidade
     • Consistência
     • Isolamento
     • Durabilidade
   • CAP
     • Consistência
     • Disponibilidade
     • Partilha tolerante

6. Ferramentas

   • AMBIENTES EM NUVEM
     • Computação em nuvens
       • Queda no preço de armazenamento
       • Elasticidade oferecida
   • HDFS
     • Hadoop Distributed File System ou Siistemas de arquivos distribuídos
       • Quebra em blocos grandes e os distribui em diversos nós (máquinas)
   • YARN
     • Gerenciador de recursos distribuídos do cluster
       • Realiza a locação de recursos nos nós do cluster para a realização de tarefas deas aplicações
   • MAP REDUCE
     • Sistema analítico deo Hadoop desenvolvido para operar com grandes volumes de dados
   • HADOOP
     • Ferramenta mais importante
       • Através de nós de clusters usa computação distribuída com alta escabilidade, tolerância a falhas
   • MPP
     • Massively Parallel Processing ou processamento massivo paralelo
       • Processar grandes quantidades de inormações, é escalável em relação a quantidade de dados
   • HBASE
     • Banco de dados Nosql que processa grandes volumes de dados de maneira rápida e em tempo real
   • SPARK
     • Processamento de dados que roda até 100 vezes mais rápido que o MAP REDUCE
   • MACHINE LEARNING
     • Processo de ensinamento da máquina a "entender"dados que a princípio parecem não fazer sentido, processá-los e tirar algum valor disso

7. Aplicabilidade

   • Saúde
   • Transporte aéreo
   • Segurança pública

8. Necessidade de melhoria

   • Interoperabilidade entre sistemas
   • Algoritmos mais eficientes
   • Mão de obra qualificada
   • Melhor conhecimento da área de governança das empresas