Ingeniería de Datos

Ingeniería de Datos

1. Disciplina enfocada en la creación y gestión de sistemas que permiten el flujo eficiente de datos desde su origen hasta su análisis y uso final.

   • Objetivos
     •  Garantizar la calidad, accesibilidad y seguridad de los datos.  Optimizar el almacenamiento y procesamiento de grandes volúmenes de información.

2. Tipos de Datos

   • Estructurados
     • Datos organizados en formatos predefinidos, como bases de datos relacionales.
   • No estructurados
     • Información sin una estructura específica, como correos electrónicos, videos o publicaciones en redes sociales.
   • Semi-estructurados
     • Datos que no siguen una estructura rígida pero contienen etiquetas o marcadores que los organizan, como archivos JSON o XML.

3. Volumenes de datos

   • Volumen
     • Se refiere a la enorme cantidad de datos generados diariamente por diversas fuentes, como redes sociales, sensores IoT, transacciones, etc.
   • Velocidad
     • Indica la rapidez con la que se generan, procesan y analizan los datos, lo que permite la toma de decisiones en tiempo real.
   • Variedad
     • Hace referencia a los diferentes tipos y formatos de datos disponibles, que pueden ser estructurados (bases de datos), semi-estructurados (XML, JSON) o no estructurados (imágenes, videos, audios).
   • Veracidad
     • Se centra en la calidad y confiabilidad de los datos, asegurando que sean precisos y útiles para su análisis.
   • Valor
     • Representa la capacidad de los datos para generar información valiosa que impulse estrategias, innovaciones y mejoras en distintos sectores.

4. Herramientas y tecnología

   • Almacenamiento y Procesamiento
     • Apache Hadoop
       • Plataforma de código abierto para el almacenamiento y procesamiento distribuido de grandes volúmenes de datos.
     • Apache Spark
       • Motor de análisis de datos en tiempo real que complementa a Hadoop, ofreciendo procesamiento en memoria para mayor velocidad.
   • Bases de Datos NoSQL
     • MongoDB
       • Base de datos orientada a documentos, ideal para datos semi-estructurados.
     • Cassandra
       • Base de datos distribuida diseñada para manejar grandes volúmenes de datos en múltiples nodos sin puntos de falla únicos.
   • Procesamiento de Flujos de Datos
     • Apache Kafka
       • Sistema de mensajería distribuida para el manejo de flujos de datos en tiempo real.
     • Apache Flink
       • Plataforma para el procesamiento de flujos de datos en tiempo real y por lotes.
   • Integración y ETL
     • Talend
       • Plataforma de integración de datos de código abierto que proporciona herramientas para la extracción, transformación y carga (ETL) de datos.
     • Apache NiFi
       • Herramienta de integración y automatización de flujos de datos que permite el movimiento y transformación de datos entre sistemas.
   • Visualización
     • Tableau
       • Herramienta de visualización de datos que facilita la creación de dashboards interactivos y reportes visuales.
     • Power BI
       • Servicio de análisis empresarial que proporciona visualizaciones interactivas y capacidades de inteligencia empresarial.

5. Técnicas de Procesamiento y Análisis

   • Minería de Datos
     • Proceso de descubrir patrones y conocimientos a partir de grandes conjuntos de datos.
   • Aprendizaje Automático (Machine Learning)
     • Aplicación de algoritmos que permiten a las máquinas aprender de los datos y hacer predicciones o decisiones basadas en ellos.
   • Procesamiento de Lenguaje Natural (NLP)
     • Técnicas para la interacción entre computadoras y lenguaje humano, permitiendo el análisis y generación de lenguaje natural.

6. Implicaciones y Desafíos

   • Escalabilidad
     • Capacidad de los sistemas para manejar el crecimiento exponencial de los datos.
   • Seguridad y Privacidad
     • Protección de los datos contra accesos no autorizados y cumplimiento de regulaciones de privacidad.
   • Calidad de los Datos
     • Garantizar la precisión, integridad y consistencia de los datos.
   • Integración de Datos
     • Combinar datos de diversas fuentes y formatos de manera coherente.
   • Gestión de la Complejidad
     • Manejo de la complejidad inherente en los sistemas de datos modernos, incluyendo la diversidad de tecnologías y arquitecturas.

7. Tamaño del Big Data

   • Google, Amazon, Facebook y Twitter. Así, Google recibe más de cuatro millones de peticiones de búsqueda por minuto de los 2.400 millones de usuarios de internet en el mundo.
     • envían 400 millones de tuits al día.
     • programa H2020 se explora la computación en exaescala. El tráfico anual en 2015 se estimaba en 2021 EB.
     • El tamaño de internet, entendido como almacenamiento digital global, se estima en cerca de 500 EB.
   • 1.300 millo- nes de usuarios de Facebook comparten alrededor de 2,5 mi- llones de piezas de contenido por minuto.
   • 1.300 millones de usuarios de Facebook comparten alrededor de 2,5 millones de piezas de contenido por minuto.
   • Envían 400 millones de tuits al día.