Fundamentos de Big Data

O que é Big Data

• Big data é uma coleção de conjuto de dados, grandes e complexos que não podem ser processados por bancos de dados ou aplicações de processamentos tradicionais.
• 4 V's :
• Volume de Dados (tamanho dos dados)
• Variedade (Formato dos dados)
• Velocidade (geração de dados)
• Veracidade (Confiabilidade dos dados)
• Big Data e Ciências de Dados são a mesma coisa?? NÃO!!
• Big data é matéria prima, ou seja os dados.
• Ciências de Dados é um conjunto de técnicas de análise de dados.
• Quando aplicamos ciências de dados ao big data extraímos valor e então temos o que é chamado de Big Data Analytics(Análise de grande volumes de dados).
• Exemplos de aplicação:
• Uma companhia aérea pode extrair, armazenar, processar, e analisar dados de viagens de passageiros a fim de oferecer rotas com maior probabilidade.
• Uma rede de supermercado pode extrair, armazenar, processar e analisar dados de compras a fim de detectar padrões e organizar produtos de forma a aumentar as vendas.
• Uma rede de hotéis pode extrair, armazenar, proceessar e analisar dados de comentários de redes sociais para customizar seus serviços, aumentar as vendas e reduzir os custos.
• Uma rede de hospitais pode extair, armazenar, processar, e analisar dados de exames médicos a fim de personalizar e otimizar o atendimento dos pacientes.

Sistemas de armazenamentos de dados

• VOLUME: Fazer 3 tipos de perguntas para ver se a empresa tem condiões de trabalhar com grande volumes de dados.
• Como vamos armazenar grandes conjuntos de dados?
• Como vamos acessar grandes conjuntos de dados armazenados?
• Precisamos realmente armazenar tudo?
• Como armazenamos Big Data?
• Os dados são estruturados ou podem ser estruturados antes do armazenamento? Se a resposta for sim, usamos um Data Warehouse.
• Os dados não são estruturados ou não podem ser estruturados antes do armazenamento, então usamos um Data Lake ou um Data Store.
• Banco de Dados Relacionais x Banco de dados NoSQL:
• ​​​​​​​Banco de Dados relacionais são estruturados e com schema (organizaão dos dados) bem definido. Schema é criado antes do armazenamento de dados
• Banco de dados relacional os dados são organizados em tabelas que se relacionam. (Teremos muitas tabelas em bancos relacionais)
• ​​​​​​​Um Data Warehouse, é criado com alguma tecnologia de banco relacional como SGBD (sistema gerenciador de banco de dados), Oracle, IBM DB2, Microsoft SQL Server, MySQL, PostgreSQL e muitos outros.
• Banco de dados não relacionais (NoSQL), os dados podem ser semi ou não estruturados e que outros tipos de relacionamentos podem existir.