INGENIERÍA DE DATOS

INGENIERÍA DE DATOS

1. ¿Qué es?

   • Se encarga de diseñar, construir y mantener sistemas de procesamiento y almacenamiento de datos.
     • Datos útiles, limpios y accesibles para el análisis.
     • CIencia de datos
       • Estudio de datos para extraer informacion significativa
     • Sistemas tecnológicos
       • Son instrumentos creados por el hombre para facilitar tareas y mejorar la vida.

2. Etapas

   • 1. Recolección de datos
   • 2. Procesamiento
   • 3. Almacenamiento
   • 4. Modelado
   • 5. Distribucion
   • 6. Mantenimiento

3. Requisitos

   • Se debe acordar una programación con respecto lo que se quiere almacenar y proteger, se debe tener unas bases de datos relacionadas y no relacionadas.
     • Contar con herramientas de procesamiento de datos
       • Spark
       • Hadoop

4. Tecnicas utilizadas

   • ETL/ELT
     • Extraer, transformar y cargar datos.
   • Normalización de datos.
   • Data Wrangling:
   • Automatización de pipelines.
   • Machine Learning Engineering
   • Big Data
     • Manejo de grandes volúmenes de datos (Hadoop, Spark).

5. Ingenieria de software

   • El diseño de sistemas robustos para procesar datos, la aplicación de principios de desarrollo software
     • modularidad, pruebas, documentación.
     • Implementación en la nube (AWS, Azure, GCP). DevOps y DataOps para integración continua y despliegue.
     • Uso de arquitectura escalable (microservicios, contenedores).

6. Lenguaje

   • Python
   • SQL
   • Scala.

7. Sergio Alejandro Alvis Correa

Images and files in the map