Hadoop

Hadoop

1. framework usado para el almacenado y procesamiento de grandes volúmenes de datos

2. Paradigma master/slave

   • HDSF
     • Múltiples computadoras agrupadas en clústers, siendo tolerante a fallas
   • NameNode
     • Gestión del clúster, almacenando metadatos y ubicación en los DataNodes
   • Secondary NameNode
     • Copia el namespace es caso de falla
   • DataNode
     • Almacena los bloques de datos
   • TaskTracker
     • Ejecución de las tareas MapReduce asignadas
   • JobTracker
     • Gestión de administración de tareas y asignación de TaskTrackers

3. MapReduce

   • map
     • Generación de listas clave-valor
   • reduce
     • Resultado agrupado del map agrupado por clave

4. Funcionamiento

   • Ejecución en múltiples nodos orientado a ambientes productivos
     • Modo distribuido
   • Ejecución en un único nodo, orientado a ambientes de desarrollo
     • Local
       • En un solo proceso java
     • Local pseudo-distribuido
       • En múltiples procesos java