Tecnología HADOOP

Tecnología HADOOP

1. Es un framework para el almacenamiento y procesamiento de grandes volúmenes de datos.

   • ENTORNO
     • Funciona en un entorno LINUX

2. COMPONENTES

   • HDSF
     • Esta diseñado para utilizar múltiples computadoras genéricas agrupadas en clústers.
   • NameNode
     • Almacena los metadatos de los bloques de datos, también conoce la ubicación de los bloques de datos en los DataNodes.
   • Secondary NameNode
     • Copia periódicamente el namespace, puede ser usado para reiniciar el sistema
   • DataNOde
     • Almacenan los bloques de datos y entregan la información cuando se les solicita y se ejecutan las tareas MapReduce
   • JobTracker
     • Responsable de coordinar los trabajos (jobs) solicitados por los clientes y comprueba si las tareas fallaron
   • TaskTraker
     • Responsable de correr los MapReduce por el JobTracker y reportar el estado de la tarea a este, se ejecuta en los Data Notes

3. FUNIONAMIENTO

   • MODO LOCAL
     • Se ejecuta en un único nodo como un solo proceso java
   • Modo Local Pseudo-Distribuido
     • Se ejecuta en un único nodo, pero cada demonio se ejecuta en un proceso java diferente
   • Modo Distribuido
     • Se ejecuta utilizando múltiples nodo completamente distribuidos
   • Cuando se va a montar Hadoopp en producción se utiliza en modo distribuido, mientras que el modo paseudo-distribuido se suele utilizar para desarrollo

4. FRAMEWORK

   • Almacenamiento y Procesamiento
   • Grandes volúmenes de datos en forma distribuida