Arquitectura para Implementar Big Data

Arquitectura para Implementar Big Data

1. Ingestión de datos

   • Proporciona la capacidad de conectarse a fuentes de datos internas y externas a través de una variedad de protocolos. Puede ingerir datos por lotes y en tiempo real en la capa de almacenamiento.

2. Almacenamiento de datos

   • Esta capa roporcionar componentes duraderos, escalables, seguros y rentables para almacenar grandes cantidades de datos. Admite el almacenamiento de datos no estructurados. Se divide en tres zonas.
     • ZONA BRUTA: Donde llegan todos los datos de la capa de ingestión.
     • ZONA LIMPIA: los datos de la zona sin procesar se mueven a la zona limpia para su almacenamiento permanente.
     • ZONA CURADA: contiene datos preparados para el consumo y se ajusta a los estándares y modelos de datos de la organización.

3. Capa de Búsqueda

   • La capa de catalogación y búsqueda es responsable de almacenar metadatos comerciales y técnicos sobre los conjuntos de datos alojados en la capa de almacenamiento.

4. Capa de Procesamiento

   • Transforma los datos en consumibles a través de la validación, limpieza, normalización, transformación y enriquecimiento de los datos en las tres zonas de la capa de almacenamiento.

5. Capa de Consumo

   • Proporciona herramientas escalables y de alto rendimiento para obtener información de la gran cantidad de datos en la ingestión de datos. Permite el análisis de datos a través de herramientas métodos de análisis, incluidos SQL, análisis por lotes, paneles de BI, informes y ML.

6. Capa de seguridad

   • Responsable de proteger los datos en la capa de almacenamiento y procesar los recursos en todas las demás capas. Proporciona mecanismos para el control de acceso, cifrado, la protección de la red, la supervisión del uso y la auditoría.

Imagens e arquivos do mapa