Arquitectura Lambda

Arquitectura Lambda

1. Concepto

   • Se trata de un enfoque híbrido para el procesamiento de grandes volúmenes de datos . Admite tanto el procesamiento por lotes como el procesamiento en tiempo real.
   • La idea clave detrás de la arquitectura Lambda es dividir el procesamiento de datos en dos rutas diferentes : una capa de procesamiento por lotes y una capa de procesamiento en tiempo real

2. ¿Por qué usarla?

   • La arquitectura Lambda proporciona una forma de manejar tanto el procesamiento en tiempo real como el procesamiento por lotes en una sola arquitectura.
   • el procesamiento de big data se ha realizado utilizando un sistema de procesamiento por lotes donde los datos se procesan en grandes lotes a intervalos regulares
   • El procesamiento por lotes es ideal para tareas de procesamiento de datos que no requieren procesamiento en tiempo real, como la generación de informes periódicos o la actualización de bases de datos
   • El tiempo de espera entre la recopilación y el procesamiento de datos no es crítico, y el procesamiento puede programarse para horas de menor actividad

3. Desafios en el procesamiento

   • 1) Análisis histórico limitado
     • Es posible que los sistemas que solo operan en tiempo real no tengan un buen rendimiento para el análisis histórico
   • 2) Problemas de escalabilidad
     • El manejo de grandes volúmenes de datos en tiempo real puede plantear desafíos en materia de escalabilidad

4. Versátil y flexible

   • Puede admitir diferentes tipos de consultas y análisis mediante el uso de diferentes motores de consulta para la capa de servicio.
   • Puede admitir diversos tipos de fuentes y formatos de datos mediante el uso de diferentes herramientas y marcos de trabajo para cada capa
   • Versatilidad: Admite tanto el procesamiento por lotes como el procesamiento en tiempo real, lo que proporciona flexibilidad para diversos casos de uso

5. Descripción general

   • 1) Ingestión : Los datos se ingieren en el sistema desde diversas fuentes en tiempo real.
   • 2) Procesamiento por lotes: La capa de procesamiento por lotes procesa datos históricos, generando vistas por lotes.
   • 3) Procesamiento en tiempo real : La capa de velocidad procesa el flujo de datos en tiempo real, generando vistas actualizadas.
   • 4) Capa de servicio : Los resultados tanto de la capa de procesamiento por lotes como de la capa de velocidad se almacenan en la capa de servicio.
   • 5) Consultas : Las consultas de los usuarios o las aplicaciones son gestionadas por la capa de vista unificada, que combina los resultados de la capa de servicio para proporcionar una vista unificada y coherente.