Hadoop

Hadoop

1. Información General

   • Definición: Framework para aplicaciones distribuidas que manejan Big Data
   • Tipo de programa: Sistema de archivos distribuido, programado en Java
   • Licencia: Apache License 2.0(código abierto)
   • Autor: Doug Cutting, Mike Cafarella
   • Capacidad: Miles de nodos, petabytes de datos
   • Big Data, Machine Learning y Nube
     • Big Data alimenta el aprendizaje automático
       • ML analiza patrones y hace predicciones
         • La nube provee infraestructura para ambos
           • Ecosistema eficiente y escalable para análisis inteligente

2. Cronología

   • Origen: Nutch (buscador web de código abierto)
     • Co-credores: Doug Cutting. Mike Cafarella (2002)
       • Doug Cutting se une a Yahoo! (2006)
         • Yahoo! presenta Hadoop coo código abieto (2008)
           • Gestionado por Apache Software Foundation (ASF)
             • Hadoop 1.0 Lanzado (2011)
               • Lanzamiento público, Apache Hadoop (2012)
                 • Hadoop 2 (2013), Introdcue YARN como gestor de recursos y desacoplando HDFS de MapReduce
                   • Versión 3.3.1 (2021), Primera versión estable 3.3.x, corrección a 697 errores
                     • Versión 3.3.6 17 correcciones, soporte SBOM, nuevas APIs FS, tokens HDFS en MySQL (2023)
                       • Versión 3.4.0 (2024) Nuevo ciclo con 2888 mejoras: rendimiento, seguridad, APIs y soporte sin AWS.

3. Ventajas

   • Gestión de Datos Masivos
     • Maneja grandes volúmenes de datos estructurados y no estructurados. Permite almacenar sin preprocesar
   • Rendimiento y Eficiencia
     • Procesamiento paralelo y distribuido. Alta velocidad en consultas y lectura de datos. Minimiza tráfico moviendo cómputo hacia los datos
   • Fiabilidad y Resiliencia
     • Tolerancia a fallos automática. Réplicas de datos para prevenir pérdida
   • Escalabilidad y Flexibilidad
     • Escalabilidad horizontal (agregar nodos fácilmente) . Compatible con múltiples plataformas y SO
   • Costo-Efectividad
     • Código abierto y uso de hardware económico
   • Soporte para Análisis y Decisiones
     • Permite análisis avanzado, IA y ML. Mejora la toma de decisiones basada en datos

4. GFS vs HDFS

   • GFS
     • Desarrollado por Google para sus propias aplicaciones internas (como el motor de búsqueda).
     • Master + Chunkservers
     • es cerrado y optimizado solo para Google
   • HDFS
     • Inspirado en GFS, diseñado como proyecto de código abierto para big data (parte de Hadoop).
       • Namenode + Datanodes
     • es abierto, escalable y usado ampliamente en la industria.
     • se integra nativamente con el ecosistema Hadoop (MapReduce, YARN, etc.).

5. Modelo Divide y venceras MapReduce

   • Fase Map
     • divide y procesa en paralelo (chunks)
       • Cada chunk es procesado por un worker
         • El worker genera pares clave-valor
   • Fase Reduce
     • agrupa y resume resultados
       • Aplica función de reducción (ej. sumar valores por clave)
         • Genera resultados finales
           • No siempre reduce el volumen, pero sí organiza los datos