Hadoop

Hadoop

1. Framework de código abierto, escrito en Java

2. Permite el almacenamiento distribuido y el procesamiento de grandes volúmenes de datos

3. Tiene poder de cómputo, procesa big data a gran velocidad

4. Tolerancia a fallos

5. Componentes

   • HDFS
     • Se emplea para almacenar grandes volúmenes de datos y es tolerante a fallas
     • Componentes
       • NameNode
         • Proceso de demonio en Java
         • Nodo principal del sistema
         • Almacena los metadatos de los ficheros o archivos y gestiona el acceso a la información
       • DataNode
         • Proceso de demonio en Java
         • Se encarga de gestionar el almacenamiento del nodo
   • MapReduce
     • Utiliza modelo maestro/esclavo
     • Es el motor de cómputo de Hadoop
     • Trabaja computacionalmente sobre los datos distribuidos en el HDFS
     • Horizontalmente escalable
     • Fase Map
       • Procesa una porción de datos
     • Fase Reduce
       • Ejecuta una operación de agregación/ reducción sobre el resultado de la fase Map.

Imagens e arquivos do mapa