Proceso ETL

Proceso ETL

1. 1. EXTRACCIÓN

   • Fuentes de Datos
     • Estructuradas: Bases de datos (SQL, NoSQL), Excel, CSV, ERP, CRM. Semi/Estructuradas: APIs, JSON, Logs de servidores, Clickstream. No Estructuradas: Redes sociales, Sistemas de contenidos, Web. Otros: IoT, Nube, Datos Públicos, Geoespaciales, Legacy
   • Métodos
     • Directa / Conectores APIs y Servicios Web Basada en Archivos Web Scraping Middleware / Flujos de Eventos
   • Obtención

2. 2. TRANSFORMACIÓN

   • Preparación
   • Limpieza
     • Eliminar errores y redundancias Gestionar datos faltantes
   • Estandarización
     • Normalización y Codificación Transformación de datos derivados
   • Técnicas Adicionales
     • Estructurales: Agregación, Filtrado, Consolidación, Normalización/Denormalización. De Forma: Cambio de tipo de datos, Funciones de texto. De Valor: Operaciones matemáticas/lógicas, Enriquecimiento. De Seguridad: Desidentificación y Anonimización.
   • Beneficios
     • Mejora calidad y eficiencia Facilita integración Mejora toma de decisiones Cumplimiento normativo

3. 3. CARGA

   • Almacenamiento
   • Proceso
     • Preparar -> Conectar -> Transferir -> Verificar integridad
   • Métodos
     • Carga Completa (Full Load) Carga Incremental (Delta Load)
   • Optimización de Rendimiento
     • Paralelización Compresión Modo Directo Optimización de Índices
   • Aseguramiento
     • Transacciones Atómicas Validaciones Post-Carga Gestión de Errores Historial y Versionado

4. 4. ECOSISTEMA Y GESTIÓN

   • Herramientas Comerciales
     • Informatica PowerCenter Talend / Alteryx Microsoft SSIS IBM DataStage / Oracle ODI Apache NiFi / SAP Data Services
   • Mejores Prácticas
     • Definir objetivos y analizar fuentes Diseñar flujo y seleccionar herramientas Establecer estrategias (Extracción, Transformación, Carga) Pruebas, Validación y Documentación Monitoreo y Control continuo

Images and files in the map