SPARK

SPARK

1. Es un motor de calculo

2. Unificado

   • Desde la API de dataframes
   • Desde herramientas externas que lanzan consultas sql
   • Desde una instrucción de la API de programación que recibe una consulta SQL

3. En memoria

4. Componentes

   • Spark ofrece APIs para cuatro lenguajes
     • Java
     • Scala
     • Python
       • pyspark
     • R
       • SparkR
   • Spark Core
   • Spark SQL es una API
   • Spark Streaming
   • Spark MLlib
   • Spark GraphX

5. Arquitectura

   • Resilient Distributed Datasets
     • Un RDD es una colección no ordenada (bag) de objetos distribuida en la memoria RAM de los nodos del clúster
     • Se recomienda que cada RDD esté dividido en un número de particiones que sea entre el doble y el triple que el número de procesadores del clúster
     • Ya no se utilizan deben usarse dataframe

6. API

   • Transformaciones
     • operación que se ejecuta sobre un RDD y devuelve un nuevo RDD, en el que sus elementos se han modificado de algún modo
   • Accion
     • recibe un RDD y calcula un resultado (generalmente un tipo simple, enteros, doubles, etc.) y lo devuelve al driver
   • Cache
     • sirven para configurar, habilitar o deshabilitar ciertos comportamientos, o para obtener características relativas a la distribución física de un RDD