Hadoop

Hadoop

1. Está diseñado para

   • Volumen
     • Volúmenes de datos masivos
   • Variedad
     • Estructurados o no
   • Veracidad / Velocidad
     • Procesarlos de manera segura y eficiente

2. Se basa en dos componentes

   • Sistema de ficheros distribuido Hadoop (HDFS)
     • Rompe los ficheros en bloques, los distribuye entre los distintos Data Nodes y se replican
   • Servidor MapReduce
     • Map - "Divide y vencerás"
     • Reduce - "Combina y reduce la cardinalidad"
     • Para la gestión distribuida del procesamiento

3. Principales retos:

   • Poder acceder a los datos
   • Procesarlos a gran velocidad
   • Evitar pérdida de información si alguno de los nodos falla
   • Respuesta de Hadoop
     • Fiable
     • Escalable
     • APIS muy sencillas
     • Potente

4. La clave

   • Distribuir el almacenamiento y procesamientode información, entre equipos trabajando de forma coordinada
     • Se pasa a trabajar en clusters
     • Los nodos maestros gestionan el sistema de ficheros y coordinan y ejecutan Jobs

Images and files in the map