Big Data Conceitos

Big Data Conceitos

1. Data Science é o estudo dos dados e informações inerentes ao negócio e todas as visões que podem cercar um determinado assunto.

   • Ciclo de vida dos Dados na Organização
     • Produção armazenamento, transformação, armazenamento analítico, análise e descarte

2. Big Data -estuda como tratar, analisar e obter informações a partir de conjuntos de dados grandes demais.

   • Trata dos dados com base em 3 Vs, nenhum deles é mais importante que o outro
     • Volume: • Atributo mais significativo. Faz referência à dimensão. tamanho dos dados é algo relativo quando sefala em Big Data. • O que de fato define se o volume requer uma tecnologia de Big Data é a limitação das ferramentas tradicionais para lidar com determinado volume
     • Variedade: dados estruturados (20%) e não estruturados (80%).
     • Velocidade: • Velocidade com que os dados são coletados, analisados e utilizados. • Aumenta a competitividade de mercado, mudança qualitativa gerada pelo uso dos 3 atributos.
     • Valor: quão valioso e significativo um dado pode ser em uma solução.
     • Veracidade: confiabilidade dos dados

3. Big Data Analytics análise de aglomerações de dados estruturados e não estruturados que são gerados digitalmente a todo instante.

   • objetivo extrair, armazenar e analisar os dados, de forma a auxiliar na tomada das melhores decisões.questões internas como análises sobre o negócio, ou externas como comportamento dos clientes.

4. Arquiteturas de Big Data: projetada para lidar com ingestão, processamento e análise de dados grandes ou complexos demais para sistemas de banco de dados tradicionais.

   • Arquitetura Lambda. – Resolve o problema da quantidade muito grande de dados sendo trabalhados de forma paralela (MapReduce) Cria dois caminhos para o fluxo de dados:
     • Uma camada de lote (caminho frio) armazena todos os dados de entrada em sua forma bruta e executa o processamento em lotes nos dados. O resultado é armazenado como uma exibição de lote. Ela alimenta uma camada de serviço que indexa a exibição de lote para uma consulta eficiente.
       • Uma camada de velocidade (caminho quente) analisa os dados em tempo real, projetada para baixa latência, em detrimento da precisão. Atualiza a camada de serviço com atualizações incrementais de acordo com os dados mais recentes.
   • Arquiteturas Kappa: Resolve o problema da complexidade da Arquitetura Lambda. Tem as mesmas metas da arquitetura lambda, mas com todos os dados fluindo por um único caminho, usando um sistema de processamento de fluxo.

5. Origem dos Dados: . – Dados internos. – Dados externos. – Dados gerados por máquinas. – Dados gerados por humanos.

6. Fonte de Dados: soluções de Big Data, Armazenamentos de dados de aplicativos.Arquivos estáticos produzidos por aplicativos, como arquivos de log. – Fontes de dados em tempo real (IoT)

7. Armazenamento de dados: armazena os dados de operações de processamento em lotes em arquivos distribuídos, amplos volumes de arquivos em vários formatos, é o data lake

8. Processamento em lotes: quantidade de dados a serem processados de forma que tenhamos lotes de execução longa para filtrar, agregar e preparar os dados para análise.

9. Ingestão de dados: Necessidade gerada pela captura de dados em tempo real, re positório de ingestão de mensagens para atuar como buffer de mensagens e dar suporte a processamento de expansão, entrega confiável e outras semânticas de enfileiramento de mensagem (Hubs de eventos, Hub IoT e Kafka).

10. Processamento de fluxo: atua no processamento, na filtragem, na agregação e na preparação dos dados para análise, onde os dados de saída serão gravados em um coletor de saída.

11. Armazenamento de Dados Analíticos: Soluções de Big Data preparam dados para análise e então fornecem os dados processados em um formato estruturado que pode ser consultado em ferramentas analíticas.

    • Exemplo: Data Warehouse relacional, ferramentas de BI,tecnologia do tipo NoSQL de baixa latência, como HBASE ou Hive interativo.

12. Análise e relatórios: meta final da maioria das soluções e Big Data, gera insights sobre os dados por meio de análise e relatórios, camada de modelagem de dados, como OLAP multidimensional ou um modelo de dados tabular.Pode suportar power bi, excel, exploração de dados interativos por cientistas ou analistas de dados, uso da ferramenta pyton e R

13. Orquestração: tecnologia utilizada para automatizar os fluxos de trabalho em uma solução de Big Data

14. Ingestão de Dados: absorver dados de uma variedade de fontes e transferi-los para um local de destino onde podem ser depositados e analisados. Destinos podem ser um banco de dados, data warehouse, armazenamento de documento, data mart,...

    • Ingestão de Dados em tempo real: dados de streaming. Útil quando os dados coletados são extremamente sensíveis ao tempo. Dados são extraídos, processados e armazenados assim que são gerados para a tomada de decisões em tempo real
      • Ingestão de Dados em lotes: dados são movidos em intervalos agendados de forma recorrente. –Benéfica para processos repetíveis.

15. Hadoop: plataforma de software em Java de computação distribuída voltada para clusters e processamento de grandes volumes de dados, com atenção a tolerância a falhas. Foi inspirada no MapReduce e no GoogleFS (GFS)

    • Hadoop Common - Contém as bibliotecas e arquivos comuns e necessários para todos os módulos Hadoop
      • Hadoop Distributed File System (HDFS) - Sistema de arquivos distribuído que armazena dados em máquinas dentro do cluster, sob demanda, permitindo uma largura de banda muito grande em todo o cluster
        • Hadoop Yarn - Trata-se de uma plataforma de gerenciamento de recursos responsável pelo gerenciamento dos recursos computacionais em cluster, assim como pelo agendamento dos recursos.
          • Hadoop MapReduce - Modelo de programação para processamento em larga escala.

16. Armazenamento em Big Data - Data Lake:Suporta a aquisição de dados de forma ágil, modelo de armazenamento natural para dados complexos e multiestruturados, suporte para computação não relacional eficiente e fornecimento de armazenamento econômico de grandes e variados conjuntos de dados.

    • Comumente separado em três camadas:
      • Ingestão: camada de armazenamento para dados brutos que chegam ao sistema de Data Lake
        • Armazenamento em cache:objetivo armazenar temporariamente ou permanentemente dados processados (ou pré-processados), relacionais ou não relacionais. Estão prontos para visualização ou consumo
          • Processamento: oferece uma ou mais plataformas para processamento distribuído e análise de grandes conjuntos de dados. Pode acessar dados armazenados na camada de ingestão e armazenamento em cache.
    • Armazenamento de big data: Big data Storage é uma infraestrutura de armazenamento projetada especificamente para armazenar, gerenciar e recuperar grandes quantidades de dados.
      • Permite o armazenamento e classificação de big data de forma que possam ser facilmente acessados, usados e processados por aplicativos e serviços que trabalham com big data.
        • armazenamento e entrada/saída no armazenamento com um grande número de arquivos e objetos de dados.
          • Sua arquitetura típica é composta por:Fornecimento redundante e escalonável de pools de armazenamento com conexão direta (DAS). • Armazenamento escalonado ou conectado à rede em cluster (NAS). • Infraestrutura de armazenamento conectada a nós de servidor de computação que permitem o processamento e a recuperação rápida de grandes quantidades de dados (SAN).

17. Pipeline de Dados. –Série de etapas de processamento de dados. –Permitem o fluxo de dados de um aplicativo para um Data Warehouse, de um Data Lake para um banco de dados analítico ou para um sistema de processamento de pagamentos. –Pode ter a mesma fonte e coletor (um modificador de dados). –Consistem em três elementos: • Uma fonte. • Uma ou mais etapas de processamento. • Um destino (coletor).

18. Pipeline de Dados X ETL. –ETL se concentra inteiramente em um sistema para extrair, transformar e carregar dados em um sistema de armazenamento de dados específico. –ETL pode ser apenas um dos componentes que se enquadram no pipeline de dados. –Enquanto o ETL move os dados em lotes para um sistema específico e em intervalos regulares, o pipeline de dados tem uma aplicabilidade mais ampla para transformar e processar dados por meio de streaming ou em tempo real.

19. Etapas macro de um projeto de Big Data: –Identificar quais perguntas se deseja responder com os dados. –Captura e Armazenamento de Dados. –Processamento dos Dados. –Análise dos Dados. –Visualização de Dados.