Spark

Spark

1. Transformaciones con RDD

   • Map
   • FlatMap
   • Filter
   • Sample
   • Union
   • Intersection
   • Distinct

2. Transformaciones de un par RDD (clave, valor)

   • groupByKey
   • reduceByKey
   • sortByKey
   • join

3. Acciones mas habituales en RDD

   • Reduce
   • Collect
   • Count
   • Take
   • Firts
   • Takesample
   • Takeordered
   • countByKey
   • saveAsTextFile

4. Fuentes de datos

   • HDFS
   • Amazon S3
   • Bases de datos relacionales
   • Conectores para BBDD no relacionales
   • Cola distribuida
   • Streaming

5. Job

   • es todo el procesamiento necesario para llevar a cabo una acción del usuario

6. Stage

   • es todo el procesamiento que puede llevarse a cabo sin mover datos entre nodos

7. Task

   • son cada una de las transformaciones que forman una etapa