Flashcards
Big data
Cards in this deck (9)
- 1Big Data ConceitoGrande volume de dados estruturados, semi estruturados e não estruturados;
- 2Big Data dados estruturados, semi e não estruturados;Dados estruturados: Estrutura Rígida e previamente organizada;
Semi estruturados: Formatados por Tag. Ex: html, xml e json;
Não estruturados: textos, áudio, vídeo, etc; - 3Big Data Premissas 12 VsVolume, Velocidade, Variedade, Veracidade, Valor, Variabilidade, Validade, Vulnerabilidade, Volatilidade, Visualização, Viscosidade, Viralidade;
- 4Big Data ArquiteturasArquitetura LAMBDA
2 Caminhos: Frio (camada de Lote) e Quente (velocidade - tempo real);
Arquitetura KAPPA
Os dados fluem por um único caminho; - 5Data Warehouse Conceito e característicasRepositório de dados Relacionais (ETL);
Mais indicado para dados sensíveis;
Utilizado em BI, pelo analista de negócios, para geração de relatórios; - 6Data Lake Conceito e característicasRepositório de um grande volume de quaisquer dados, relacionais ou não, de diversas fontes que serão organizados e analisados posteriormente (ELT);
Utilizado pelo cientista de dados em análise preditiva (ML) e criação de perfis; - 7Hadoop ConceitoHadoop é um framework composto por vários subprojetos para processamento e armazenamento de grandes volumes de dados (Big Data).
- 8Hadoop Módulos / SubprojetosMÓDULOS ORIGINAIS
HDFS: Armazenamento distribuído (mestre-escravo);
MapReduce: Comandos de Programação;
SUBPROJETOS
HCatolog: Metadados
PIG: Script
HIVE: Data WareHouse
Sqoop: Queries SQL
HBase: BD Não Relacional - 9Hadoop 5 ProcessosNameNode: (Mestre) Gerencia arquivos e o acesso aos mesmos. O Backup é Recomendado;
Secondary NameNode: Alternativa de recuperação ao NameNode;
DataNode: Armazena os Dados;
JobTracker: Gerencia o plano de tarefas;
TaskTracker: Executa as tarefas MapReduce;
Information
- Description
- Concursos Públicos Fundamentos de BD Flashcards on Big data, created by Mailson Soares on 22/04/2023.
- Created by
- Mailson Soares
- Views
- 1
- Rating