Ecosistema Hadoop

Ecosistema Hadoop

1. HDFS - Hadoop Distributed File System

   • Almacenamiento distribuido y tolerancia a fallos
     • que se encarga del almacenamiento distribuido y tolerante a fallos de los datos.

2. YARN - Yet Another Resource Negotiator

   • Gestión de recursos y planificación de tareas
     • que gestiona los recursos del clúster y coordina la ejecución de tareas.

3. MapReduce

   • Procesamiento paralelo de grandes volúmenes de datos
     • que actúa como el modelo de procesamiento paralelo de datos, dividiendo las tareas en procesos de mapeo y reducción.

4. Common Libraries

   • Librerías y utilidades comunes para todos los módulos
     • que agrupa las librerías y utilidades necesarias para que los demás módulos funcionen de manera integrada.

5. Hive

   • Consultas tipo SQL para análisis de datos en HDFS

6. Pig

   • Scripts para transformación y procesamiento de datos

7. HBase

   • Base de datos NoSQL distribuida sobre HDFS

8. Sqoop

   • Importación de datos desde bases relacionales

9. Flume

   • Recolección y carga de datos en tiempo real

10. Oozie

    • Automatización de flujos y tareas programadas

11. Zookeeper

    • Coordinación de servicios y sincronización de nodos