Spark II y HIVE

Spark II y HIVE

1. Spark MLlib

   • Limpieza de datos
   • Ingeniería de variables
   • Aprendizaje de modelos sobre datasets muy grandes
   • Ajuste de parámetros y evaluación de modelos

2. Spark no fue concebido para explotación online de modelos entrenados

3. fortaleza de Spark está en entrenar modelos en modo batch (offline) con conjuntos de datos muy grandes

   • Aprovechas el modelo
     • Entrenar con datos offline almacenados en HDFS
     • Entrenar, guardar el modelo entrenado, y usarlo desde Spark para hacer predicciones una a una
     • Entrenar y exportar el modelo a un formato de intercambio
     • Entrenar en modo online usando Structured Streaming para recoger datos

4. Pre procesamiento, grupos

   • Extracción
   • Transformación
   • Seleccionar
   • Locality sensitive hashing (LSH

5. Transformer

   • es un objeto que recibe como entrada un dataframe de Spark y uno o varios nombres de columna existentes y las transforma de alguna manera

6. Estimadores

   • es un objeto de Spark capaz de realizar transformaciones que primero requieren que ciertos parámetros de la transformación se ajusten (o se aprendan) a partir de los datos.

7. Pipeline

   • secuencia de etapas (estimator o transformer) que se ejecutan en un cierto orden para ir transformando un dataframe

8. Spark Structured Streaming