Mind map

HADOOP

Fredy Rodriguez Spanish

Map content

HADOOP

Núcleo de Hadoop
- HDFS
  - (Hadoop Distributed File System): Sistema de archivos distribuido que almacena grandes volúmenes de datos en clústeres.
- Map Reduce
  - Modelo de programación que procesa y genera grandes conjuntos de datos de forma distribuida.
Gestión de recursos
- YARN
  - (Yet Another Resource Negotiator): Gestor de recursos y planificador de tareas para Hadoop.
- Apache Mesos
  - Plataforma para abstraer recursos de computación distribuida y facilitar la ejecución de clústeres Hadoop, Spark y otros.
Almacenamiento y Bases de Datos
- HBASE
  - Base de datos NoSQL distribuida, no relacional, construida sobre HDFS. Especial para datos no estructurados y de acceso rápido.
- Apache Kudu
  - Almacén de datos columnar diseñado para trabajar bien tanto con cargas analíticas como de escritura rápida (OLAP + OLTP).
- Apache Cassandra
  - Base de datos NoSQL distribuida y altamente escalable diseñada para manejar grandes cantidades de datos distribuidos en servidores comunes.
- HDFS
  - Sistema de archivos distribuido de Hadoop diseñado para almacenar grandes volúmenes de datos de forma fiable a través de múltiples máquinas. Divide los archivos en bloques grandes (generalmente 128 MB o 256 MB) y los replica en varios nodos para tolerancia a fallos.
- Formato de Almacenamiento de datos
  - Avro
  - Parquet
  - ORC
Ingesta de Datos
- Apache Flume
  - Servicio para recolectar, agregar y transportar grandes cantidades de datos de registro (logs) hacia HDFS.
- Apache Sqoop
  - Herramienta para transferir eficientemente datos entre bases de datos relacionales (MySQL, PostgreSQL) y Hadoop.
- Apache NiFi
  - Plataforma para automatizar el flujo de datos entre sistemas, manejando la ingestión, transformación y transferencia de datos.
- Apache Kafka
  - Sistema de mensajería distribuido, altamente escalable, usado para transmitir flujos de datos en tiempo real entre sistemas.
Procesamiento de Datos
- Por Lotes
  - MapReduce
    - Modelo de programación y motor de procesamiento de datos en paralelo sobre Hadoop. Permite procesar grandes volúmenes de datos dividiéndolos en fragmentos pequeños (map) y luego combinándolos (reduce) de manera distribuida y tolerante a fallos.
  - Apache Spark
    - Motor de procesamiento rápido de datos distribuidos en memoria. Ideal para análisis en tiempo real, machine learning y procesamiento batch.
  - Apache Tez
    - Framework de ejecución de tareas dirigido por gráficos acíclicos (DAGs), optimizando el procesamiento de datos de Hive y Pig.
- Tiempo Real
  - Apache Storm
    - Motor de procesamiento en tiempo real de flujos de eventos (streaming de baja latencia).
  - Apache Flink
    - Motor de procesamiento de flujos de datos (streaming) y procesamiento por lotes a gran escala.
  - Kafka Streams
    - Librería cliente de Apache Kafka para construir aplicaciones y microservicios que procesan flujos de datos en tiempo real (stream processing), directamente desde y hacia tópicos de Kafka, sin necesidad de clústeres adicionales.
Consultas SQL y Analítica
- Apache Hive
  - Almacena y consulta grandes conjuntos de datos estructurados usando un lenguaje similar a SQL (HiveQL).
- Apache Impala
  - Motor de consultas SQL para datos almacenados en HDFS o HBase, ofreciendo tiempos de respuesta muy bajos (analítica interactiva).
- Presto / Trino
  - Presto y Trino son tecnologías externas que se integran de manera natural en arquitecturas Big Data basadas en Hadoop.
  - Presto Motor de consulta SQL distribuido de alto rendimiento originalmente desarrollado por Facebook para grandes volúmenes de datos.
  - Trino Motor de consultas SQL distribuido que puede consultar múltiples fuentes de datos (antes llamado PrestoSQL).
Machine Learning e Inteligencia Artificial
- Apache Mahout
  - Biblioteca de machine learning escalable, diseñada para construir modelos de recomendación, clustering y clasificación sobre Hadoop.
- MLlib (de Spark)
  - Librería de machine learning distribuido sobre Apache Spark. Proporciona algoritmos para clasificación, regresión, clustering, filtrado colaborativo y reducción de dimensionalidad, así como herramientas para construcción de pipelines de machine learning a gran escala.
- H2O.ai, TensorFlow on Hadoop
  - Plataforma de machine learning y deep learning open source optimizada para Big Data y entornos distribuidos.
Orquestación y Coordinación
- Apache Oozie
  - Motor de orquestación de flujos de trabajo para programar y coordinar tareas (jobs) en Hadoop.
- Apache Zookeeper
  - Servicio centralizado para la gestión de la configuración y sincronización distribuida en aplicaciones.
Visualización e Interfaces de Usuario
- Hue
  - (Hadoop User Experience) Interfaz web amigable para interactuar con clústeres Hadoop, permitiendo consultas SQL, navegación de HDFS, trabajos de Pig, Hive, etc.
- Apache Zeppelin
  - Plataforma web para crear, compartir y visualizar notebooks interactivos con soporte para Spark, Hive, HBase y más.
- Apache Superset
  - Plataforma moderna de visualización y exploración de datos para la creación de dashboards interactivos y análisis avanzados.
Seguridad
- Kerberos
  - Protocolo de autenticación basado en tickets para entornos distribuidos, usado para asegurar clústeres Hadoop.
    - Kerberos no es parte de Apache Hadoop, pero es fundamental para asegurar clústeres Hadoop en producción.
- Apache Ranger
  - Framework para administrar políticas de seguridad y control de acceso centralizado en todo el ecosistema Hadoop.
- Apache Knox
  - Gateway de seguridad que proporciona un punto de acceso unificado y seguro para servicios REST de Hadoop.
Administración y Monitoreo
- Apache Ambari
  - Plataforma para instalar, administrar, monitorear y asegurar clústeres de Hadoop.
- Cloudera Manager
  - Distribución comercial de Hadoop y servicios Big Data, incluyendo soporte, seguridad y herramientas adicionales.
- Nagios / Ganglia
  - Nagios Herramienta de monitoreo de infraestructura de red y servidores, incluyendo servicios Hadoop.
  - Ganglia Sistema de monitoreo distribuido de alto rendimiento, usado en entornos de clúster.