APACHE KAFKA

APACHE KAFKA

1. DEFINICION

   • PLATAFORMA DE STREAMING DISTRIBUIDA DE CODIGO ABIERTO PARA TRANSMISION Y PROCESAMIENTO DE DATOS EN TIEMPO REAL
   • ARQUITECTURA DE MENSAJERIA Y ALMACENAMIENTO DE DATOS ALTAMENTE ESCALABLE Y TOLERANTE A FALLOS

2. OBJETIVO

   • PERMITIR LA TRANSMISION DE DATOS EN TIEMPO REAL DE MANERA EFICIENTE Y CONFIABLE. TRANSMISION DE GRANDES VOLUMENES DE DATOS ENTRE SISTEMAS Y APLICACIONES GARANTIZANDO LA INTEGRIDAD Y PERSISTENCIA DE DATOS

3. INTEGRACION

   • APACHE SPARK
     • FUENTE DE DATOS PARA SPARK STREAMING. PROCESAMIENTO EN TIEMPO REAL DE DATOS TRANSMITIDOS POR KAFKA
   • APACHE HADOOP
     • CANAL DE ENTRADA PARA ALMACENAR DATOS EN HDFS O PROCESAR DATOS CON HIVE O PIG
   • APACHE FLINK
     • FUENTE O DESTINO DE DATOS PARA APLICACIONES DESARROLLADAS CON FLINK
   • APACHE STORM
     • FACILITAR PROCESAMIENTO DE STREAMING DE DATOS A GRAN ESCALA

4. ARQUITECTURA

   • PRODUCTORES
     • ENTIDADES QUE GENERAN Y ENVIAN MENSAJES A LOS TOPICOS DE KAFKA
   • TOPICOS
     • CANALES DE MENSAJE A LOS QUE LOS PRODUCTORES ENVIAN DATOS
   • BROKERS
     • SERVIDORES RESPONSABLES DE ALMACENAR Y ADMINISTRAR LOS MENSAJES
   • CONSUMIDORES
     • APLICACIONES O SISTEMAS QUE LEEN LOS MENSAJES DE LOS TOPICOS Y LOS PROCESAN

5. LICENCIAMIENTO

   • LICENCIA DE APACHE 2.0 - CODIGO ABIERTO Y GRATUITO PARA SU USO Y MODIFICACION SIN COSTOS ADICIONALES

6. MADUREZ

   • DESDE EL 2011. MADURA Y ESTABLE

7. ACTIVIDAD

   • COMUNIDAD ACTIVA, REGULAR ACTUALIZACIONES Y NUEVAS VERSIONES.

8. CLIENTES

   • LINKEDIN, UBER, AIRBNB, NETFLIX, CISCO

9. APLICACIONES

   • STREAMING Y PROCESAMIENTO DE DATOS EN TIEMPO REAL
   • INGESTA Y PROCESAMIENTO DE LOGS
   • SISTEMA DE MENSAJERIA DISTRIBUIDA
   • INTEGRACION DE SISTEMAS HETEROGENEOS
   • SISTEMA DE REGISTRO DE TRANSACCIONES