big date

big date

1. processamento e analise de conjuntos de dados extremamente grandes, que nao podem ser processados utilisando-se ferramentes convencionais de processamentos de dados

2. os dados em big date podem provir de diversas fontes , estruturadas, semi-estruturadas e nao-estruturadas

3. tipos de dados

   • estruturados
     • armazenados em banco de dados tradicionais, organizados em tabelas
   • semi-estruturados
     • podem seguir diversos padroes, de forma heterogenea
   • nao-estruturada
     • mescla dados oriundos de varias fontes distintas, como video, texto, audio,imagem, xml e etc

4. tecnoogias envolvidas em big date

   • sistemas de arquivos distribuidos, processamento paralelo massivo, computaçao em nuvem, grids de mineraçaode dados, redes de alta velocidade, sistemas de alta velocidade, sistema de armazenamento escaavel,algoritimo especifico, inteligencia artificial

5. caracteristicas: os 3 vs

   • podemos caracterizar inicialmente o big data por tres aspectos dos dados
     • volume
       • refere-se a quantidade de dados envolvidos
     • variedade
       • por nao conseguir armazenar, utiliza-se novas tecnologias, algoritimo e tecnicas para realizar a analise de dados
       • apenas 20% do volime de dados e estruturado, 80% e nao estruturado
     • velocidade
       • dados sao gerados em grande velocidade
   • mais vs
     • veracidade
       • confiabiidade dos dados: qualidade, origem conhecida,serem verdadeiro
     • valor
       • aplicaçao do big date que permite aumentar receita, identificar novas oportunidades , economizar custos etc

6. exemplo de aplicaçao de big date

   • ver print