PREPROCESAMIENTO PARA BIG DATA

PREPROCESAMIENTO PARA BIG DATA

1. Algoritmos de procesamiento de datos masivos

   • MLlib
     • Discretización y normalización
       • Binarizador
       • Discretizador manual
       • Normalizadores basados en min-max
       • Media-Varianza
     • Extracción de atributos
       • PCA
       • SVD
     • Selección de atributos
       • Chi-cuadrado
       • RFormula
     • Conversores para atributos
       • OneHotEncoder
     • Técnicas para el preprocesamiento de texto
       • Term Frecuency-inverse Document Frecuency
       • n-gram
   • FlinkLM
     • Un algoritmos que transforma un conjunto de atributos a un espacio polinomial
     • Dos algoritmos de normalización

2. Algoritmo Fas-mRMR

   • Es capaz de trabajar con conjuntos de datos masivos en ambas dimensiones
     • Nº de atributos y nº de instancias
   • Redundancia acumulada
   • Re-utilización de cálculos previos
   • Procesamiento por columnas