HADOOP

HADOOP

1. Que es ?

   • Es un framework que por sus características, Hadoop es ampliamente utilizado en Big Data, ya que permite trabajar con grandes volumenes de información a muy bajo costo

2. Arquitectura

   • Componentes
     • NameNode
       • Controla el acceso por parte de los clientes a la informacion
     • DataNodes
       • Almacenan los bloques de datos y entregan informacion solicitada
     • HDSF
       • Es el sistema de archivos Hadoop
     • TaskTracker
       • Es responsable de correr los MapReduce asignados por el JobTracker
   • Este nodo es el más importante de la arquitectura, y controla el acceso por parte de los clientes a la información, a la vez que gestiona el almacenamiento y procesamiento de los datos en los DataNodes. Esto últimos serían los slaves, también llamados workers.

3. Insatalacion

   • Tres modos de Funcionamiento
     • Modo local: se ejecuta en un unico nodo como un solo proceso java
     • Modo local pseudo-distribuido: se ejecuta en un unico nodo, pero cada demonio se ejecuta en un proceso java diferente
     • Modo distribuido: se ejecuta utilizando multiples nodos completamente distribuido

4. MapaReduce

   • Es un modelo de programacion para dar soporte a la computacion paralela sobre grandes colecciones de datos en grupos de computadoras y al commodity computing

5. HDFS

   • Que es?
     • El sistema de archivos de Hadoop (HDFS Hadoop Distributed File System) almacena los datos en bloques de gran tamaño
   • Beneficios
     • Como los bloques son de tamaño fijo, es facil calcular el numero de bloques que pueden ser almacenados en cada DataNodes
     • Simplifica el almacenamiento de los datos en los DataNodes, ya que estos no necesitan conocer acerca de los mata-datos de los bloques
     • los bloques son faciles de replicar entre los DataNodes y de esta forma proveen alta tolerancia a fallas y alta disponibiliadad