BIGDATA

BIGDATA

1. 5V

   • VARIEDADE
   • VELOCIDADE
   • VALOR
   • VERACIDADE
   • VOLUME

2. ESCALABILIDADE

   • HORIZONAL
     • CLUSTERS
       • CARACTERISTICAS
         • Alta disponibilidade
         • Load Balancing
         • ^
         • Alto desempenho
         • Processamento em Paralelo
         • servidor = NÓ
       • SOFTWARE
         • HADOOP
           • É um conjunto de ferramentas, dentre elas MapReduce e HDFS
           • HDFS
             • sistema de arquivos distribuído
             • Namenode
               • administra dados
             • Datanode
               • armazena
           • MapReduce
             • Ele abstrai dos programadores, dificuldades do trabalho com dados distribuídos
             • Map (mapeamento)
             • Shuffle (mescla, agrupa)
             • Reduce (reduzir)
   • VERTICAL

3. DADOS

   • ESTRUTURADOS
   • NÃO ESTRUTURADOS
   • SEMI-ESTRUTURADOS

4. BIG DATA ANALYTICS

   • ANALISE
     • Descritiva
       • O que aconteceu?
         • Decisões em tempo real
         • de modo a auxiliar na tomada de decisões.
       • está chovendo, você está molhado (não faz julgamentos, só monitora algo baseando-se nos dados disponíveis)
     • Diagnóstica
       • Por que aconteceu?
         • decisões ja tomadas
           • relações de causa e efeito
           • está chovendo porque tem nuvens e a umidade do ar está em 100%, você vi se molhou (gera insights baseando-se no passado)
     • Preditiva
       • O que pode acontecer?
         • algo que irá acontecer no futuro de acordo com os dados de hoje
           • as tendências dos dados
           • manhã estará chovendo e com 100% de umidade do ar, você vai se molhar (IA, estatística, histórico e data mining, faz machine learning)
     • Prescritiva
       • O que deveria ser feito?
         • consequencias de uma decisão ex: rotas de entrega
       • usa modelos matemáticos e estatísticos para identificar a melhor solução possível para um determinado problema.
       • na chuva de amanhã se você sair sem guarda-chuvas então você vai se molhar, mas vai chover demais então saia com uma capa-de-chuva e um guarda-chuvas ou nem saia de casa (data science, precisa de um empurrão humano, porque o humano precisa mostrar os caminhos que quer seguir)
   • A análise PRESCRITIVA está relacionada a Business Analytics, não a Business Inteligence.