HDFS

HDFS

NameNode y DataNodes

Arquitectura maestro / esclavo

Expone espacio de nombres del sistema de archivos y los datos se almacenan en archivos

Un archivo se divide en uno o mas bloques.

Los bloques se almacenan en un DataNode

Ejecuta operaciones de espacio de nombres del sistema de archivos

Atiende las solicitudes de lectura y escritura

Sistema operativo GNU/Linux

Lenguaje Java

el árbitro y repositorio de todos los metadatos

Replicación de datos

Almacena archivos muy grandes manera confiable

Todos los bloques tienen el mismo tamaño excepto el último

Tamaño del bloque y replicacion son configurables

NameNode

DataNode

Los bloques de un archivo se replican para tolerancia a fallos

Toma decisiones en la replicación de bloques

Funcionando correctamente

NameNode

DataNode

HEARTBEAT

BLOCKREPORT

Lista de todos los bloques

Colocación de la reproducción

Confiabilidad y rendimiento

Mucha afinación y experiencia

Politica

Colocar una réplica en un nodo en el rack local, otra en un nodo en un rack diferente (remoto) y la última en un nodo diferente en el mismo rack remoto

Mejora rendimiento de escritura

Selección de Replica

MInimiza el ancho de banda y latencia de lectura