Arquitectura Amazon EMR

Arquitectura Amazon EMR

1. Storage

   • Tipos
     • Hadoop Distributed File System (HDFS)
       • Almacena resultados intermedios
     • Sistema de archivos de EMR (EMRFS)
       • Almacena datos de entrada y salida
         • Es Amazon S3
           • Costo - Beneficio
             • Elementos
               • Ventajas de desempeño y competitividad de los costos
               • Mayor durabilidad y disponibilidad
               • Menor fricción operativa
               • Seguridad de los datos potente
             • Beneficio
               • Eliminación de una planificación compleja
               • Menos inversiones de capital
               • Disponibilidad inmediata de los datos para su restablecimiento
     • Sistema de archivos local
       • Disco conectado a nivel local

2. Administración de recursos de clúster

   • YARN (Yet Another Resource Negotiator)

3. Marco de procesamiento de datos

   • Hadoop MapReduce
     • Es un modelo de programación de código abierto para informática distribuida
   • Apache Spark
     • Modelo de programación para el procesamiento de cargas de trabajo de big data

4. • Aplicaciones y programas

   • Utiliza bibliotecas y lenguajes como:
     • Java, Hive Pig con MapReduce, Spark SQL, GraphX