HDFS y MAPREDUCE

HDFS y MAPREDUCE

1. HDFS

   • Sistema de archivos distribuido para almacenar archivos muy grandes con patrones de acceso en streaming, pensado para clústeres de ordenadores convencionales
     • Sistema de archivos distribuido
       • Maquinas Commodity
         • Hardware convencional
       • Escalable
       • Necesita incorporar mecanismos software de recuperación frente a fallo de un nodo
     • Pensado para almacenar archivos muy grandes
     • Archivos con patrón de acceso write‐once, read‐many
       • archivos que se crean y después se acceden para lectura en numerosas ocasiones

2. Arquitectura HDFS

   • Bloques de HDFS
     • 128 mb
     • Se almacena en maquinas diferentes
     • Matadatos que se graba en el namenode
     • Los bloques de datos suelen estar replicados para alta disponibilidad y máximo paralelismo
       • Factor de replicacion 3
     • Rack-awareness
       • no colocar más de una réplica de un bloque en el mismo nodo
       • ni más de dos réplicas en nodos del mismo rack
   • Nodo
     • Namenode
       • mantiene la estructura de directorios existentes, y los metadatos asociados a cada archivo
         • Punto unico de fallo
         • Respaldo
           • Copia de los archivos persistentes de los metadatos a otros nodos o a un sistema de ficheros externos
           • Namenode secundario
         • Alta disponibilidad
           • Par de namenodes, uno de ellos denominado activo y el otro en stand by. Ambos comparten un log de edición en un sistema de almacenamiento externo y que posea también alta disponibilidad
         • Escalando
           • Escalando el namenode: namenodes federados. Este mecanismo se utiliza cuando el namenode se encuentra saturado y cerca de llenarse. Cumple la función de un mecanismo de proteccion contra fallas
     • Datanode
       • almacenan bloques de datos, y los devuelven a petición del namenode o del programa cliente

3. MapReduce

   • Mapper
   • Reducer
   • Problemas
     • El resultado de la fase map se escribe en el disco duro de cada nodo, como resultado intermedio- Penaliza el rendimiento
     • Después de la fase map, hay tráfico de red obligatoriamente
     • datos escritos temporalmente en el HD de la máquina origen, enviarlos por la red y escribirlos temporalmente en el HD de la máquina destino
     • Peor funcion iterativa
     • Logica complicada