Spark

Frage	Antworten
Engine de execução generalista ?	Spark
Sua exeção é baseada em Resilient Distributed Datasets?	RDD
Outros Frameworks especializam	O Spark generaliza
RDDs	São coleções particionadas de dados; Criados por operações determinísticas (Transformações) em outro RDD ou arquivo; O usuário define o particionamento (otimizações de localidade) e armazenamento (RAM, disco).
É uma Engine de execução generalista	Seu processamento é: Iterativo; em Batch; Streaming(simulado)
O Spark possui?	Armazenamento Temporario em Ram ou disco; Leitura e escrita em diversos formatos: CVS; Json; Parquet; Arquivos de texto simples; Leitura escrita de diversas fontes: Arquivos locais; HDFS; S3; JDBC/ODBC;
O Spark possui?	Mais de 80 operadores, intercambiaveis com consultas SQL: Map; reduceByKey; Filter; SortByKey; Três APIs principais de uso: RDDs; Datarames; Datasets (experimental)
Linguagens:	Scala (principal); Java; Python; R;
O spark é executado em varios ambientes	Standalone; Hadoop Yarn (gerenciador de recursos e tarefas do hadoop); Mesos;
Sub-projetos SPARK	Spark Streaming (simula operações em tempo real utilizando mini batch); Spark SQL; MLLib (Aprendizado de maquina); GraphX (processamento de grafos com suporte a Pregel)
Comparativo com outros frameworks	Image: 3e5202df-9551-419e-9862-1749654e0335 (image/jpg)

Zusammenfassung der Ressource

	Erstellt von Primo Deckers vor etwa 7 Jahre