HADOOP

HADOOP

1. La biblioteca de software Apache Hadoop es un marco que permite el procesamiento distribuido de grandes conjuntos de datos en grupos de computadoras utilizando modelos de programación simples.

   • Está diseñado para escalar de servidores únicos a miles de máquinas, cada una de las cuales ofrece computación y almacenamiento local.
     • En lugar de depender del hardware para ofrecer alta disponibilidad, la biblioteca en sí está diseñada para detectar y manejar fallas en la capa de aplicación, por lo que brinda un servicio de alta disponibilidad en la parte superior de un grupo de computadoras, cada una de las cuales puede ser propensa a fallas.

2. Hadoop consiste en tres componentes que están diseñados para trabajar en Big Data.

   • Unidad de almacenamiento - HDFS (Hadoop Distributed File System)
     • Características
       • La información es distribuida en varios equipos y almacenada en bloques.
         • Al almacenar en bloques permite tener tolerancia a fallas si uno de los bloques falla porque existe una réplica de este.
           • HDFS hace una copia de los datos y almacena está en múltiples sistemas.
             • La información no se pierde por ningún motivo, sin importar que uno de los DataNodes falle, lo que se llama tolerancia a fallas.
   • MapReduce
     • Características
       • Los métodos tradicionales que se usan para procesar información, no son los correctos para poder procesar gran cantidad de datos.
       • Se encarga de realizar el procesamiento en cada uno de los DataNodes.
       • Usan un método que se encarga de dividir los datos de una manera mas funcional que disminuye el tiempo de procesamiento del análisis de estos.
       • Procesa cada parte de Big Data de manera individual.
       • Permite tener varios Hadoop Cluster.
   • YARN
     • Características
       • Es un negociador de recursos, que tiene los siguientes elementos: Resource Manager, Node Manager, Application Master y Containers.
       • El application master habla con el node manager quien se encarga de solicitar los recursos y el resource manager los asigna.
       • YARN procesa los requerimientos y administra los recursos de los clusters.

Bilder und Dateien der Mindmap