Hadoop

Hadoop

1. ¿Qué es?

   • Es un Framework que permite el procesamiento distribuido de grandes cantidades de datos
     • Esto, gracias a que utiliza un modelo de programación simple sobre un cluster de maquinas
       • Cluster de maquinas
     • Sistema distribuido de Hadoop

2. Caracateristicas

   • 1.Procesamiento distribuido
     • 2.Eficiencia
       • 3.Escalabilidad
         • 4.Tolerancia a fallos
           • 5.Open source

3. Arquitectura

   • Haddoop implementa una arquitectura de Master/Salve y dentro de ella contamos con los siguiente componentes principales
     • 1.HDFS
       • Es el sistema de archivos de Hadoop, el cual cuenta tolerancia a fallas y con una gran tasa de acceso a los datos
     • 2.Namenode
       • Conocido como el corazón del sistema, este es el encargado de almacenar los metadatos en bloques de datos
         • Conociendo de este modo la ubicación de los bloques de datos en los Datanodes
     • 3.Secundary namenode
       • Es responsable de copiar de manera periodica el namespace
         • En caso de que el Namenode falle éste puede ser utilizado para reiniciar el sistema
     • 4.Data node
       • Almacena los bloques de datos y entregan la información cuando es solicitada
         • Reporta periódicamente los metadatos asociados a los bloques de información al NameNode
     • 5.Job Tracker
       • Responsable de coordinar los trabajos (jobs) solicitados
         • A la vez comprueba si las tareas comprueba si las tareas fallaron, y en tal caso las reprograma en otro DataNode
     • 6.Task Tracker
       • Responsable de correr los MapReduce asignados por el JobTracker y reportar el estado de la tarea a este

4. Funciones principales

   • En la actualidad Hadoop es principalmente implementado en le analisis de datos o mas conocido como Big Data
     • Caracterizandose por
       • 1.Esquema de almacenamiento
         • 3.Mecanismos de monitorización
           • 5.Analisis, descubrimeinto y definción de patrones
       • 2.Estructura del tratamiento de datos
         • 4.Almacenar grandes cantidades de información
           • 6.Flexibilidad en procesamiento de datos

Images and files in the map