BIG DATA

BIG DATA

1. Data Science- estudo dos dados e informações inerentes ao negocio e todas as visões, que podem cercar um determinado assunto

2. Ciclo de vida dos Dados na Organização, - descarte, produção, armazenamento, transformação, armazenamento analítico, analise

3. Big Data- estuda como tratar, analisar e obter informações a partir de conjuntos de dados grandes demais. Trata dos dados com base em 3 Vs, nenhum deles é mais importante que o outro.

4. Os Vs de Big Data

   • Volume: Atributo mais significativo; Faz referência à dimensão; tamanho dos dados é algo relativo quando se fala em Big Data; que de fato define se o volume requer uma tecnologia de Big Data é a limitação das ferramentas tradicionais para lidar com determinado volume.
   • Variedade: dados estruturados (20%) e não estruturados (80%).
   • Velocidade: Velocidade com que os dados são coletados, analisados e utilizados.. Aumenta da competitividade no mercado. mudança de qualitativa gerada pelo uso dos 3 atributos
   • Valor: valioso e significativo um dado pode ser em uma solução.
   • Veracidade: confiabilidade dos dados

5. Big Data Analytics análise de aglomerações de dados estruturados e não estruturados que são gerados digitalmente a todo instante

   • O objetivo é extrair, armazenar e analisar os dados, de forma a auxiliar na tomada das melhores decisões. questões internas como análises sobre o negócio, ou externas como comportamento dos clientes.

6. Arquiteturas de Big Data- projetada para lidar com ingestão, processamento e análise de dados grandes ou complexos demais para sistemas de banco de dados tradicionais

7. Origem dos Dados. – Dados internos. – Dados externos. – Dados gerados por máquinas. – Dados gerados por humanos.

   • Fonte de Dados: Todas as soluções de Big Data, que começam com uma ou mais fonte de dados:
     • Armazenamento de dados: armazena os dados de operações de processamento em lotes em arquivos distribuídos que podem conter amplos volumes de arquivos em vários formatos.
       • Processamento em lotes: quantidade de dados a serem processados de forma que tenhamos lotes de execução longa para filtrar, agregar e preparar os dados para análise.

8. Ingestão de dados: Necessidade gerada pela captura de dados em tempo real, re positório de ingestão de mensagens para atuar como buffer de mensagens e dar suporte a processamento de expansão, entrega confiável e outras semânticas de enfileiramento de mensagem (Hubs de eventos, Hub IoT e Kafka)

   • absorver dados de uma variedade de fontes e transferi-los para um local de destino onde podem ser depositados e analisados.
     • os destinos podem ser um banco de dados, data warehouse, armazenamento de documento, data mart,...
     • Tipos de ingestão de dados
       • Ingestão de Dados em tempo real: dados de streaming; Útil quando os dados coletados são extremamente sensíveis ao tempo. Dados são extraídos, processados e armazenados assim que são gerados para a tomada de decisões em tempo real.
         • Ingestão de Dados em lotes. –Os dados são movidos em intervalos agendados de forma re corrente. –Benéfica para processos repetíveis.

9. Processamento de fluxo: atua no processamento, na filtragem, na agregação e na preparação dos dados para análise, onde os dados de saída serão gravados em um coletor de saída

10. Arquitetura Lambda. – Resolve o problema da quantidade muito grande de dados sendo trabalhados de forma paralela

    • Cria dois caminhos para o fluxo de dados
      • Uma camada de lote (caminho frio) armazena todos os dados de entrada em sua forma bruta e executa o processamento em lotes nos dados.. resultado: uma exibição de lote. Ela alimenta uma camada de serviço que indexa a exibição de lote para uma consulta eficiente
        • Uma camada de velocidade (caminho quente) analisa os dados em tempo real.. Essa camada foi projetada para baixa latência, em detrimento da precisão. Atualiza a camada de serviço com atualizações incrementais de acordo com os dados mais recentes.

11. Armazenamento de Dados Analíticos:So luções de Big Data preparam dados para análise e então fornecem os dados processados em um formato estruturado que pode ser consultado em ferramentas analíticas. disponibilizado em um Data Warehouse relacional

    • Análise e relatórios: meta final da maioria das soluções e Big Data, gera insights sobre os dados por meio de análise e relatórios. camada de modelagem de dados, como OLAP multidimensional ou um modelo de dados tabular. Pode também suportar um BI de autoatendimento, usando tecnologias como Power BI ou até mesmo Excel. assumir a forma de exploração de dados interativos por cientistas de dados ou analistas. Python e R de uma forma bem intensa
      • Orquestração: tecnologia utilizada para automatizar os fluxos de trabalho em uma so lução de Big Data

12. Arquiteturas Kappa- Resolve o problema da complexidade da Arquitetura Lambda

    • Tem as mesmas metas da arquitetura lambda, mas com todos os dados fluindo por um único caminho, usando um sistema de processamento de fluxo.

13. Hadoop

    • é uma plataforma de software em Java de computação distribuída voltada para clusters e processamento de grandes volumes de dados, com atenção a tolerância a falhas
      • Trata-se de um projeto da Apache de alto nível, construído por uma comunidade de contribuidores e utilizando a linguagem de programação Java.
        • tipos de hadoop:
          • Hadoop Common - Contém as bibliotecas e arquivos comuns e necessários para todos os módulos Hadoop.
            • Hadoop Distributed File System (HDFS): Sistema de arquivos distribuído que armazena dados em máquinas dentro do cluster, sob demanda, permitindo uma largura de banda muito grande em todo o cluster.
              • Hadoop Yarn - Trata-se de uma plataforma de gerenciamento de recursos responsável pelo gerenciamento dos recursos computacionais em cluster, assim como pelo agendamento dos recursos.
                • Hadoop MapReduce - Modelo de programação para processamento em larga escala.

14. Armazenamento em Big Data - Data Lake Suporta a aquisição de dados de forma ágil, modelo de armazenamento natural para dados complexos e multiestruturados, suporte para computação não relacional eficiente e fornecimento de armazenamento econômico de grandes e variados conjuntos de dados

    • separado em três camadas:
      • Ingestão: age como uma camada de armazenamento para dados brutos que chegam ao sistema de Data Lake.
        • Armazenamento em cache: tem como objetivo armazenar temporariamente ou permanentemente dados processados (ou pré-processados), relacionais ou não relacionais. Estão prontos para visualização ou consumo.
          • Processamento: oferece uma ou mais plataformas para processamento distribuído e análise de grandes conjuntos de dados. Pode acessar dados armazenados na camada de ingestão e armazenamento em cache.
    • Armazenamento de big data: Big data Storage é uma infraestrutura de armazenamento projetada especificamente para armazenar, gerenciar e recuperar grandes quantidades de dados
      • Permite o armazenamento e classificação de big data de forma que possam ser facilmente acessados, usados e processados por aplicativos e serviços que trabalham com big data
        • Pode ser escalonado, conforme necessário.
          • Oferece suporte a operações de armazenamento e entrada/saída no armazenamento com um grande número de arquivos e objetos de dados
            • Fornecimento redundante e escalonável de pools de armazenamento com conexão direta (DAS).
              • Armazenamento escalonado ou conectado à rede em cluster (NAS)
                • Infraestrutura de armazenamento conectada a nós de servidor de computação que permitem o processamento e a recuperação rápida de grandes quantidades de dados (SAN).

15. Pipeline de Dados.

    • Série de etapas de processamento de dados. –Permitem o fluxo de dados de um aplicativo para um Data Warehouse, de um Data Lake para um banco de dados analítico ou para um sistema de processamento de pagamentos. –Pode ter a mesma fonte e coletor (um modificador de dados). –Consistem em três elementos: • Uma fonte. • Uma ou mais etapas de processamento. • Um destino (coletor).
    • Pipeline de Dados X ETL: ETL se concentra inteiramente em um sistema para extrair, transformar e carregar dados em um sistema de armazenamento de dados específico., pode ser apenas um dos componentes que se enquadram no pipeline de dados. –Enquanto o ETL move os dados em lotes para um sistema específico e em intervalos regulares, o pipeline de dados tem uma aplicabilidade mais ampla para transformar e processar dados por meio de streaming ou em tempo real.

16. Etapas macro de um projeto de Big Data: –Identificar quais perguntas se deseja responder com os dados. –Captura e Armazenamento de Dados. –Processamento dos Dados. –Análise dos Dados. –Visualização de Dados.