Spark

Primo Deckers
Flashcards by Primo Deckers, updated more than 1 year ago
11
1
0

Description

Big data Flashcards on Spark, created by Primo Deckers on 03/01/2017.
Tags No tags specified

Resource summary

Question Answer
Engine de execução generalista ? Spark
Sua exeção é baseada em Resilient Distributed Datasets? RDD
Outros Frameworks especializam O Spark generaliza
RDDs São coleções particionadas de dados; Criados por operações determinísticas (Transformações) em outro RDD ou arquivo; O usuário define o particionamento (otimizações de localidade) e armazenamento (RAM, disco).
É uma Engine de execução generalista Seu processamento é: Iterativo; em Batch; Streaming(simulado)
O Spark possui? Armazenamento Temporario em Ram ou disco; Leitura e escrita em diversos formatos: CVS; Json; Parquet; Arquivos de texto simples; Leitura escrita de diversas fontes: Arquivos locais; HDFS; S3; JDBC/ODBC;
O Spark possui? Mais de 80 operadores, intercambiaveis com consultas SQL: Map; reduceByKey; Filter; SortByKey; Três APIs principais de uso: RDDs; Datarames; Datasets (experimental)
Linguagens: Scala (principal); Java; Python; R;
O spark é executado em varios ambientes Standalone; Hadoop Yarn (gerenciador de recursos e tarefas do hadoop); Mesos;
Sub-projetos SPARK Spark Streaming (simula operações em tempo real utilizando mini batch); Spark SQL; MLLib (Aprendizado de maquina); GraphX (processamento de grafos com suporte a Pregel)
Comparativo com outros frameworks 3e5202df-9551-419e-9862-1749654e0335.jpg (image/jpg)
Show full summary Hide full summary

Suggestions

Big Data
djalma.melo
BIG DATA
Eduardo Diniz
011 - Conceito - Big Data Analytics
Projetos Casal2004
A2 Level OCR: Communication & Homeostasis
Ollie O'Keeffe
Cuban missile crisis
KatyWright
C2.1 Structure and Bonding
elzzie
Animal vs. Plant Cells
JimJam5
GCSE REVISION TIMETABLE
rebekahanne11
French Past tense verbs and pronouns
PEACEout
Tests for Positive Ions: Flame Test Colours
bella.mort
GCSE ICT Edexcel Flashcards
Sarah Bramley-Dymond