Flashcards
Spark
Cards in this deck (11)
- 1Engine de execução generalista ?Spark
- 2Sua exeção é baseada em Resilient Distributed Datasets?RDD
- 3Outros Frameworks especializamO Spark generaliza
- 4RDDsSão coleções particionadas de dados;
Criados por operações determinísticas (Transformações) em outro RDD ou arquivo;
O usuário define o particionamento (otimizações de localidade) e armazenamento (RAM, disco). - 5É uma Engine de execução generalistaSeu processamento é:
Iterativo;
em Batch;
Streaming(simulado) - 6O Spark possui?Armazenamento Temporario em Ram ou disco;
Leitura e escrita em diversos formatos:
CVS;
Json;
Parquet;
Arquivos de texto simples;
Leitura escrita de diversas fontes:
Arquivos locais;
HDFS;
S3;
JDBC/ODBC; - 7O Spark possui?Mais de 80 operadores, intercambiaveis com consultas SQL:
Map;
reduceByKey;
Filter;
SortByKey;
Três APIs principais de uso:
RDDs;
Datarames;
Datasets (experimental) - 8Linguagens:Scala (principal);
Java;
Python;
R; - 9O spark é executado em varios ambientesStandalone;
Hadoop Yarn (gerenciador de recursos e tarefas do hadoop);
Mesos; - 10Sub-projetos SPARKSpark Streaming (simula operações em tempo real utilizando mini batch);
Spark SQL;
MLLib (Aprendizado de maquina);
GraphX (processamento de grafos com suporte a Pregel) - 11Comparativo com outros frameworks
Information
- Description
- Big data Flashcards on Spark, created by Primo Deckers on 01/03/2017.
- Created by
- Primo Deckers · Mar 2017
- Updated
- Mar 1, 2017
- Views
- 27
- Rating