Ingenieria de datos

Ingenieria de datos

1. Extraccion de datos de diversas fuentes

2. Limpieza y procesamiento de datos

3. Uso de herramientas como hadoop, spark, SQL, entre otras para el funcionamiento de grandes volumenes de datos

4. Diseño y construcción de datos

5. Analisis y visualización de datos

6. Seguridad y privacidad de datos

7. ETAPAS

   • Generación: Corresponde al origen en donde se crean los datos.
     • Almacenamiento: Es una capa que cruza ingesta, transformación y servicio; entendiendo que los datos se almacenan siempre en todas las etapas de procesamiento.
       • Ingesta: Es donde llegan los datos ingestados de manera batch o streaming.
         • Transformación: Es donde se realizan las reglas de negocio, calidad del dato y trasformaciones varias, que permiten tener los datos listos para ser entregados como un producto en la capa de servicio.
           • Servicio: Es la capa final en donde se disponibilizan los datos a las personas y sistemas.

8. REQUISITOS

   • Requisitos funcionales: Funciones y tareas específicas que el sistema debe cumplir.
     • Requisitos técnicos: Tecnologías, lenguajes de programación y plataformas que deben utilizarse.
       • Requisitos del usuario: Necesidades y expectativas del cliente o usuario final.
         • Requisitos legales y regulatorios: Cumplimiento de leyes y normativas.
           • Requisitos de rendimiento: Métricas y niveles de rendimiento esperados.
             • Requisitos de seguridad: Medidas para proteger los datos y la información sensible.

9. TECNICAS

10. Minería de datos para descubrir patrones y tendencias ocultas.

11. Big Data: Procesamiento y análisis de grandes volúmenes de datos.

12. Inteligencia Artificial y Aprendizaje Automático para la toma de decisiones inteligentes.

13. Pruebas automatizadas para asegurar la calidad del software.

14. Modelado de datos: Uso de diagramas entidad-relación (DER) y modelos conceptuales.

15. INGENIERIA DE SOFTWARE

    • Análisis de requerimientos y especificaciones del software, diseño arquitectónico y de interfaz de usuario, codificación y programación en diferentes lenguajes, pruebas unitarias, de integración y de sistema, mantenimiento y actualización del software, refactorización y optimización del código, documentación del software y sus procesos.

Imágenes y archivos del mapa