Hadoop & Big Data

Hadoop & Big Data

1. ¿Qué es?

   • Framework que permite el procesamiento distribuido de grandes conjuntos de datos en clústeres de computadoras que usan modelos de programación simples

2. Componentes

   • HDFS: sistema de archivos distribuido que proporciona acceso de alto rendimiento a los datos de las aplicaciones
   • YARN : un marco para la programación de trabajos y la administración de recursos de clúster.
   • MapReduce : un sistema basado en YARN para el procesamiento paralelo de grandes conjuntos de datos.

3. Usos Big Data y Data Science

   • Data Science Sandbox: Data Science es un campo interdisciplinario que combina aprendizaje automático, estadísticas, análisis avanzado y programación. Es una nueva forma de arte que extrae insights ocultos y pone los datos a trabajar en la era cognitiva.
   • Data Lake Analytics: un lago de datos es un entorno de datos compartidos que comprende múltiples repositorios y aprovecha las tecnologías de Big Data. Proporciona datos a una organización para una variedad de procesos analíticos.
   • Streaming Data / IOT Platform: Stream computing permite a las organizaciones procesar flujos de datos que están siempre encendidos y que nunca cesan. Stream computing ayuda a las organizaciones a detectar oportunidades y riesgos en todos los datos.

4. Ecosistema Hadoop

   • Ambari: Administración y monitoreo de clústers
   • Avro : un sistema de serialización de datos.
   • Cassandra : una base de datos escalable de múltiples maestros sin puntos únicos de falla.
   • Chukwa : un sistema de recopilación de datos para administrar grandes sistemas distribuidos.
   • HBase : una base de datos distribuida y escalable que admite el almacenamiento de datos estructurados para tablas grandes.
   • Hive : una infraestructura de depósito de datos que proporciona un resumen de datos y consultas ad hoc.
   • Mahout : una biblioteca escalable de aprendizaje automático y minería de datos.
   • Pig ™ : un lenguaje de flujo de datos de alto nivel y un marco de ejecución para el cómputo paralelo.
   • Spark: modelo de programación que admite ETL, aprendizaje automático, procesamiento de flujo y cálculo de gráficos.
   • ZooKeeper: un servicio de coordinación de alto rendimiento para aplicaciones distribuidas.