Arquitectura Big Data

Arquitectura Big Data

1. Hadoop/MapReduce

   • Sistema de archivos distribuidos
     • Procesamiento de datos en paralelo
       • Apache Pig
         • Carga, manipulación y transformación de datos.
           • Flujos de Datos
             • Operadores y Funciones
       • Apache Hive
         • Almacenes de Datos
           • No requiere de tiempo de respuesta bajo
             • Mayor latencia
   • HDFS Hadoo Distributed File System
     • Permite su distribución a través de clúster de servidores
   • MapReduce
     • Procesar datos en tiempo reducido, motor de ejecución
       • Map: entrada dividida en muchas piezas, cada pieza pueda ser procesada independiente y en paralelo.
       • Reduce: los resultados de las piezas son recopilados, agregados y procesados.

2. Bases de Datos NoSQL

   • Almacenamiento de información no relacional
     • Fuentes semi y no estructuradas
       • Lecturas y escrituras aleatorias

3. BD Relacionales Extendidas

   • MPP Massively Parallel Processing
     • Mayor volumen Menor escalabilidad
       • Análisis Olap en datos estructurados

4. Big Data en Tiempo Real

   • Apache Spark
     • Arquitectura In Memory para el procesamiento y análisis
   • Apache Storm
     • Procesamiento distribuido, tolerante a fallos y datos en Streaming

5. Soluciones en la Nube

   • Infraestructura, plataforma y software como Servicios.
     • laaS, PaaS y SaaS
   • Microsoft para Big Data
     • Azure HDInsight
       • Orientado a infraestructura y a servicio
   • Google para Big Data
     • Fusion Tables
       • BigQuery
         • Cloud Dataflow

Imagens e arquivos do mapa