Arquitectura de una aplicación Big Data

Arquitectura de una aplicación Big Data

1. Casos Básicos de Big Data

   • Análisis del comportamiento del consumidor
     • Análisis de los sentimientos
       • Incorporación y predicción de CRM

2. Tecnologías para implementar Big Data

   • Dos opciones para su implementación
     • Descargar proyectos por separado e intentar crear una arquitectura coherente
     • Utilizar Distribución Hadoop

3. Distribución HADOOP

   • Cualquiera de las dos es ideal para empezar un proyecto, mientras no se tomen en cuenta los complementos propietarios
     • CLOUDERA
       • Agrega un conjunto de componentes internos. componentes diseñados para brindar una mejor gestión de clúster y experiencias de búsqueda.
         • Componentes Internos
           • Impala
             • Es un motor en tiempo real, basado en SQL, que busca datos en HDFS, considerado el motor más rápido de consultas dentro del mercado, y es directo competidor de Spark.
           • Cloudera Manager
             • Consola de Cloudera para administrar e implementar componentes Hadoop dentro de su clúster.
           • Hue
             • Consola que permite al usuario interactuar con los datos y ejecutar scripts contenidos en el clúster.
     • HORTONWORKS HDP
       • Es 100% de código abierto y se utiliza para empaquetar componentes estables de la última versión del proyecto Hadoop liberada. Agrega una consola de administración de componentes similar a Cloudera Manager.
   • Sistema distribuido de archivos de Hadoop (HDFS)
     • Las características principales de HDFS son: Distribución, Acceso de alto rendimiento, Alta disponibilidad, Tolerancia a fallos, Afinación o Tuning, seguridad, Balanceo de carga

4. APACHE FLUME

   • Componente utilizado para realizar ingreso de logs, es confiable y altamente disponible, puede configurar una tubería (pipeline) de datos sin una sola línea de código(Progamación Simple), solo a través de la configuración de la herramienta.
     • Apache SQOOP
       • Diseñado para transferir datos masivos entre un almacén de datos estructurado y el HDFS.
     • SQOOP
       • Admite las principales bases de datos relacionales como Oracle, MySQL y Postgres. Proporciona funciones de transferencia de datos con alto rendimiento, para que sean usados por las herramientas de (BI).
   • Yarn: NextGen MapReduce
     • Nueva arquitectura maneja el procesamiento de datos por encima de HDFS. Se ha implementado YARN (Yet Another Resource Negotiator), que permite otros modelos de procesamiento y MapReduce se ha convertido en uno de ellos.
   • Proceso Batch con Hive
     • Brinda la simplicidad y el poder de consultar datos desde HDFS de una manera similar a SQL.
   • Hive
     • Se utiliza para el procesamiento por lotes, como un trabajo de procesamiento a largo plazo con baja prioridad.
   • Spark Streaming
     • Permite escribir un trabajo de procesamiento de datos a medida que se transmiten, transmite desde la fuente de información. Esto puede ser realmente apropiado cuando se trata de altas fuentes de datos de rendimiento.
   • Apache Kafka
     • Es un sistema de mensajería persistente y de alto rendimiento, admite semántica de colas y temas, y utiliza ZooKeeper para formar los nodos del clúster. Implementa el patrón de integración empresarial de publicación-suscripción y admite paralelismo y características empresariales para el rendimiento y la tolerancia a fallas mejorada.