Procesamiento de datos

Procesamiento de datos

1. Procesamiento de datos

   • El procesamiento de datos se produce cuando se recaban datos y se traducen a información utilizable. Suelen ocuparse los científicos de datos, solos o en equipo, y es importante que el procesamiento se realice correctamente para no afectar negativamente al producto final o los resultados obtenidos a partir de los datos.

2. Preparación de datos

   • Una vez recabados los datos, se pasa a la fase de la preparación de datos. La preparación de datos, a menudo llamada «preprocesamiento», es la etapa en la que los datos en bruto se limpian y organizan para la siguiente fase del procesamiento. Durante la preparación, los datos en bruto se verifican diligentemente para detectar errores.

3. Spark

   • Spark SQL
     • Soporta un conjunto extenso y rico de herramientas de alto nivel entre las que se incluyen Spark SQL (para el procesamiento de datos estructurados basada en SQL).
     • Apache Spark es un framework de computación distribuida en cluster, basada en un sistema de operaciones (transformaciones y acciones) realizadas sobre colecciones de datos distribuidas, denominadas RDD (Resilient Distributed Dataset).
     • La razón por la que Spark se ha extendido tanto y se ha convertido en una tecnología de referencia para el procesamiento de datos, es que se trata de un proyecto Open Source en continuo desarrollo, con una enorme comunidad activa.
   • Spark MLlib
     • MLlib para implementar machine learning utilizando librerías para la implementación MLlib es la biblioteca de aprendizaje automático (ML) de Spark. Su objetivo es hacer que el aprendizaje automático práctico sea escalable y fácil. A alto nivel, proporciona herramientas como:
       • Algoritmos ML: algoritmos de aprendizaje comunes como clasificación, regresión, agrupamiento y filtrado colaborativo
     • Caracterización: extracción, transformación, reducción de dimensionalidad y selección de características
       • Pipelines: herramientas para construir, evaluar y ajustar ML Pipelines
       • Persistencia: guardar y cargar algoritmos, modelos y canalizaciones
       • Utilidades: álgebra lineal, estadística, manejo de datos, etc.
   • Spark graphx
     • GraphX es la API de Apache Spark para gráficos y cálculo paralelo de gráficos. GraphX ​​es la nueva API de Spark (alfa) para gráficos (por ejemplo, Web-Graphs y redes sociales) y cálculo paralelo de gráficos (por ejemplo, PageRank y Filtrado colaborativo). En un nivel alto, GraphX ​​amplía la abstracción de Spark RDD al introducir el Gráfico de propiedades distribuidas resilientes : un gráfico múltiple dirigido con propiedades adjuntas a cada vértice y borde.
       • Para admitir el cálculo de gráficos, GraphX ​​expone un conjunto de operadores fundamentales (por ejemplo, subgraph , joinVertices y mapReduceTriplets ), así como una variante optimizada de la API de Pregel .
   • Apache Spark Streaming
     • Spark Streaming puede ingerir datos de un amplio de fuentes, incluyendo flujos provenientes de Apache Kafka, Apache Flume, Amazon Kinesis y Twitter, así como de sensores y dispositivos conectados por medio de sockets TCP. También se pueden procesar datos almacenados en sistemas de archivos como HDFS o Amazon S3.
       • Spark Streaming puede procesar datos utilizando una variedad de algoritmos y funciones tales como map, reduce, join y window. Una vez procesados, los datos son enviados a archivos en file systems o para popular dashboards en tiempo real.
       • Un RDD es una colección de datos particionada (distribuida) e inmutable. Es la unidad de información que el motor de procesamiento de Spark (Spark Core) tradicionalmente consume. Así que cuando usamos Spark Streaming para alimentar un stream a Spark Core, éste último los analiza de forma normal, sin enterarse de que está procesando un flujo de datos, porque el trabajo de crear y coordinar los RDDs lo realiza Spark Streaming

4. Apache hive

   • Apache Hive es una infraestructura de almacenamiento de datos construida sobre Hadoop para proporcionar agrupación, consulta, y análisis de datos. Inicialmente desarrollado por Facebook, Apache Hive es ahora utilizada y desarrollado por otras empresas como Netflix y la Financial Industry Regulatory Authority (FINRA).​ Amazon mantiene una derivación de software de Apache Hive incluida en Amazon Elastic MapReduce en sus servicios Amazon Web Services.

5. Cloudera Impala

   • Cloudera Impala es un motor de consulta que corre en Apache Hadoop. El proyecto fue anunciado en octubre de 2012 con una distribución pública beta y se encuentra disponible para el público en general desde mayo de 2013.
     • Apache lleva la tecnología de base de datos escalable en paralelo a Hadoop, permitiendo a los usuarios realizar consultas SQL de baja latencia a los datos almacenados en HDFS y Apache HBase sin necesidad de movimiento o transformación de los datos. Impala está integrada con Hadoop para utilizar los mismos archivos y formato de datos, metadatos, seguridad y frameworks de gestión de recursos utilizados por MapReduce, Apache Hive, Apache Pig y otro software de Hadoop.

6. Apache pig

   • Pig es una plataforma de scripting desarrollado originalmente por Yahoo! en el 2006 y fue adoptado un año después por Apache Software Foundation para convertirse en un subproyecto de Apache
     • Pig provee un lenguaje de alto nivel para crear flujos de datos llamado Pig Latin el cual permite realizar programas MapReduce de forma simple y en pocas líneas de código.

7. Apache Storm

   • Apache Storm es un sistema utilizado para procesar datos en tiempo real. Es de fuente abierta y gratuita. Este gran sistema facilita el procesamiento de flujos ilimitados de datos. Además, su uso resulta muy simple, y puede ser utilizado con cualquier lenguaje de programación.
     • Storm es un sistema extremadamente rápido y es capaz de procesar hasta más de un millón de registros por segundo por nodo en un clúster de modesto tamaño.
       • El usuario tiene la posibilidad de aprovechar esta gran velocidad y combinarla con otras aplicaciones de acceso a datos en hadoop, y así evitar sucesos indeseables y obtener resultados positivos.