Hadoop

Hadoop

1. Características y entorno de Hadoop

   • Arquitectura Modular
     • HDFS (Sistema de Archivos Distribuido)
       •  Almacena datos divididos en bloques (128 MB predeterminados)
     • YARN: Gestiona recursos del clúster y programa tareas
     • MapReduce: Modelo de procesamiento paralelo para datos masivos
     • Hadoop Common: Utilidades compartidas
   • Entorno Operativo
     • Ejecución en hardware básico (commodity) y escalabilidad horizontal (miles de nodos)
       • Ejecución en hardware básico (commodity) y escalabilidad horizontal (miles de nodos)
     • Soporte para datos estructurados/no estructurados (ej., logs, sensores IoT, redes sociales)

2. Línea de tiempo del desarrollo de Hadoop

   • 2002-2004: Origen en el proyecto Nutch (Doug Cutting y Mike Cafarella), inspirado por los papers de Google sobre GFS y MapReduce
   • 2006: Separación de Hadoop de Nutch; adopción por Yahoo! para su motor de búsqueda
   • 2008: Lanzamiento como proyecto open-source bajo Apache Foundation
   • 2011-2013: Surgimiento de distribuciones empresariales (Cloudera, Hortonworks) y herramientas complementarias (ej., Apache Spark)
   • 2019: Fusión Cloudera-Hortonworks; desplazamiento hacia soluciones en la nube

3. Ventajas de Hadoop

   • Escalabilidad Masiva: Adición dinámica de nodos sin interrupción
   • Tolerancia a Fallos: Replicación automática de datos (3 copias predeterminadas); recuperación ante fallos de hardware
   • Bajo Coste: Software open-source + hardware económico vs. sistemas propietarios
   • Flexibilidad: Almacenamiento de data lakes sin preprocesamiento
   • Procesamiento Eficiente: Paralelización de tareas mediante MapReduce

4. Google File System y Hadoop

   • Google File System
     • Origen Propietario (uso interno Google)
     • Arquitectura Chunks de 64 MB; Master/Chunkservers
     • Acceso a Datos Optimizado para escritura única, lectura múltiple
     • Réplica 3 copias (predeterminado)
     • Caso de Uso Búsqueda web, YouTube
   • Hadoop
     • Origen Open-source (Apache)
     • Arquitectura Bloques de 128 MB; NameNode/DataNodes
     • Acceso a Datos Similar a GFS; enfoque en batch processing
     • Réplica 3 copias (configurable)
     • Caso de Uso Big Data analytics, data lakes

5. MapReduce en Hadoop

   • Funcionamiento
     • Map: Divide datos en pares clave-valor
     • Shuffle: Ordena y agrupa resultados por clave.
     • Reduce: Agrega valores
   • Limitaciones
     • Ineficiente para procesamiento iterativo
     • Requiere programación en Java

6. Big Data Analytics, Machine Learning y Computación en la Nube

   • Big Data Analytics & Hadoop
     • Hadoop permite analizar petabytes de datos
     • Herramientas como Hive (consultas SQL) y Pig (ETL) simplifican el análisis
   • Machine Learning
     • Entrenamiento de Modelos: MapReduce procesa datos para algoritmos
     • Integración con bibliotecas (MLlib de Spark, Mahout) usando HDFS como almacén
   • Computación en la Nube
     • Escalabilidad Elástica: Clústeres Hadoop en la nube
     • Transición a Lakehouses: Combina almacenamiento low-cost (cloud object storage) con procesamiento de Hadoop/Spark