BIG DATA

BIG DATA

1. Generacion de datos

   • Nuevos Escenarios
     • Las redes sociales
     • Internet de las cosas
     • Industria 4.0

2. Tecnologías

   • Diseñado
     • Conjunto de datos grandes o masivos
     • Tiempo de computo razonable
     • Rango de precisión adecuado
   • Aprendizaje automático
     • Algoritmos estandar se conviertan en obsoletos
     • Necesidad de diseñar métodos escalables
   • Google
     • MapReduce
       • Map
         • El sistema procesa parejas clave-valor
         • Leidas directamente del sistema de ficheros distribuido
         • Cada nodo se encarga de leer y transformar los pares de una o mas particiones
       • Reduce
         • Los pares con claves coincidentes son enviadas al mismo nodo
         • Finalmente fusionados usando otra función definida por el usuario
       • Versión de código abierto
         • Hadoop
       • LImitaciones
         • Reutilización de datos
         • El procesamiento de grafos
   • Spark
     • Uso intensivo de memoria
     • Perfecto para procesos iterativos
   • Apache Flink
     • Procesamiento en tiempo real y secuencial
     • Buen rendimiento en el procesamiento de datos en sistemas de baja latencia

3. Analítica de datos masivos

   • Mahout
     • Agrupamiento
     • Clasificación
     • Filtrado colaborativo
   • MLlib
     • Clasificación
     • Optimización
     • Regresión
     • Agrupamiento
     • Preprocesamiento
   • FlinkML
     • Clasificación
     • Agrupamiento
     • preprocesamiento
     • Recomendación
   • H2O
     • Aproximación al deep learning
     • Implementaciones iterativas