Hadoop

Hadoop

1. Es un proyecto opensource desarrollado en JAVA

   • Cuyo objetivo es ofrecer un entorno de trabajo acorde con las necesidades del Big Data
     • Volumen
     • Variedad
     • Veracidad
     • Velocidad

2. Resuelve los problemas de una cantidad inmensa de datos, mediante la distribución

   • Tanto el almacenamiento de la información, como su procesamiento, se pasa a trabajar en “clusters”.
     • Características
       • Fiabilidad
       • Escalabilidad
       • APIS muy sencillas
       • Potente

3. Se basa en dos componentes principales:

   • El sistema de Ficheros distribuido Haddop (HDFS), para la parte de almacenamiento
     • Rompe los ficheros en bloques, los distribuye entre los distintos Data Nodes que conforman el cluster y los replica.
     • HDFS distribuye los bloques entre los distintos DataNodes
     • Los bloques se replican entre distintos DataNodes en distintos racks para evitar pérdidas de información
   • El Servidor MapReduce, para la gestión distribuida del procesamiento
     • Cada máquina de un cluster Hadoop tiene un servidor MapReduce
     • Cada cluster tiene un gestor de Jobs, JobTracker, que divide cada proceso en subproceso, y los distribuye entre distintas máquinas en el cluster
     • Consiste en un framewok de programación que trabaja sobre HDFS, divide las tareas complejas en tareas simples para posteriormente combinarlas en una sola respuesta.
     • Cada cluster tiene un gestor de Jobs, JobTracker, que divide cada proceso en subproceso, y los distribuye entre distintas máquinas en el cluster

4. Aplicaciones

   • Hadoop es un ecosistema de proyectos muy diversos que trabajan a la par. Los servicios que dan estos proyectos pueden ser:
     • Plataforma de almacenaje y procesamiento de datos, Lenguajes de scripting, Bases de datos, Herramientas analíticas, Lenguaje query, Gestión de workflow

5. Distribuciones

   • Debido a los problemas de compatibilidad entre versiones de distintos componentes, distintas compañías añadieron componentes propios y servicios de soporte.
     • Cloudera
     • Hortonworks
     • Mapr