Procesamiento de datos

Procesamiento de datos

1. Se produce cuando se recaban datos y se traducen a información

2. Preparación de datos

   • Preprocesamiento es la etapa donde los datos se limpian
     • Los datos en bruto se verifican diligentemente para detectar errores.

3. Spark

   • Soporta conjuntos extensos
     • Para el procesamiento de datos estructurados
   • Es un framework de computo
     • transformaciones y acciones
       • Se almacenan en memoria

4. Spark MLlib

   • Librerías para la implementación
     • Escalable y fácil
     • Algoritmos ML
       • Clasificación, regresión, agrupamiento y filtrado
     • Extracción, transformación
       • reducción de dimensionalidades

5. Spack graphx

   • Para gráficos y cálculo
     • expone un conjunto de operadores

6. Apache Spark Streaming

   • Ingerir datos de un amplio fuentes
   • Algoritmos
     • map, reduce join y window
   • flujo continuo a discreto

7. Apache hive

   • Infraestructura de almacenamiento
   • agrupación
     • consulta
       • análisis
         • HDFS

8. Cloudera Impala

   • Motor de consulta
     • escalable
       • consultas interactivas

9. Apache pig

   • Craer
     • Flujos de datos
       • pocas líneas de código
         • Cualquier origen
           • estructurados
             • no estructurados

10. Apache storm

    • Procesar datos
      • tiempo real
        • gratuito
          • Distribución de datos
            • streams
              • Flujos de datos
                • comunicaciones