Librerías de Spark Core

Librerías de Spark Core

1. Spark SQL

   • Es un módulo de Spark que permite trabajar con datos estructurados
     • Acceso JDBC y ODBC
   • Es el módulo de Apache Spark para trabajar con datos estructurados. Las interfaces que ofrece Spark SQL brindan a Spark más información sobre la estructura de los datos y el cálculo que se está realizando.
   • Permite usar tanto SQL como Hive Query Languaje
     • Data source
     • Data frame
     • Interpreter and optimizer
     • Sql service

2. Spark Streaming

   • Procese datos de transmisión en tiempo real.
     • fuentes
       • Kafka
       • Flume
       • HDFS
     • Dstream
   • Gran tolerancia a fallos y gran rendimiento
   • Ejemplos
     • Twitter
     • Datos financieros
     • Datos geográficos

3. Graph X

   • API de procesamiento en paralelo de grafos
   • Implementa Resilient Distributed Graph
     • Asocia registros con los vértices y bordes de un grafo.
   • Dispone una gran cantidad de algoritmos preparados

4. Mlib

   • Librería de Machine Learning
   • Dispone de gran variedad de algoritmos y diversos procesos ML
     • data cleaning
     • Transformaciones
     • Regresiones
     • Extracción de datos
     • clasificación
     • clusterización
   • Permite su ejecución sobre HDFS, Hbase