Criado por Primo Deckers
aproximadamente 7 anos atrás
|
||
Questão | Responda |
Engine de execução generalista ? | Spark |
Sua exeção é baseada em Resilient Distributed Datasets? | RDD |
Outros Frameworks especializam | O Spark generaliza |
RDDs | São coleções particionadas de dados; Criados por operações determinísticas (Transformações) em outro RDD ou arquivo; O usuário define o particionamento (otimizações de localidade) e armazenamento (RAM, disco). |
É uma Engine de execução generalista | Seu processamento é: Iterativo; em Batch; Streaming(simulado) |
O Spark possui? | Armazenamento Temporario em Ram ou disco; Leitura e escrita em diversos formatos: CVS; Json; Parquet; Arquivos de texto simples; Leitura escrita de diversas fontes: Arquivos locais; HDFS; S3; JDBC/ODBC; |
O Spark possui? | Mais de 80 operadores, intercambiaveis com consultas SQL: Map; reduceByKey; Filter; SortByKey; Três APIs principais de uso: RDDs; Datarames; Datasets (experimental) |
Linguagens: | Scala (principal); Java; Python; R; |
O spark é executado em varios ambientes | Standalone; Hadoop Yarn (gerenciador de recursos e tarefas do hadoop); Mesos; |
Sub-projetos SPARK | Spark Streaming (simula operações em tempo real utilizando mini batch); Spark SQL; MLLib (Aprendizado de maquina); GraphX (processamento de grafos com suporte a Pregel) |
Comparativo com outros frameworks |
Quer criar seus próprios Flashcards gratuitos com GoConqr? Saiba mais.