Uber BigData

Uber BigData

1. Comienzo , antes del 2014

   • Almacenamiento en varias DB tradicionales, sin una vista global
   • Tamaño: Pocos TB
   • Acceso rápido

2. 1era Generación, 2014-2015

   • Tamaño: 10 ~ varios cientos de TB
   • Almacenamiento Centralizado - Vertica logrando una vista global
   • Categorizacion de usuarios de los datos
     • City operations teams
     • Data scientist and analysts
     • Engineering teams
   • Acceso: 24 ~ 48Hs
   • Multiples desarrollos AD HOC de ETC
   • Interfaz estandar SQL
   • Aumento significativo en:
     • data-driven
     • Analytical data
     • Machine learning

3. 2da Generación, 2015-2016

   • Tamaño: 10PB
   • Acceso: 24hs
   • Almacenamiento en Haddop
   • Plataforma escalable de carga de datos
   • Incorporación de:
     • Presto
     • Spark
     • Apache Hive
     • Apache Parquet
   • Escalabilidad horizontal mejorada

4. 3era Generación, 2017-2019

   • Tamaño: 100PB
   • Acceso: < 1h
   • Para el diseño se analizaron:
     • Patrones de acceso
     • Requisitos
     • Problemas encontrados
   • Creación de HUDI
   • Actualizaciones Incrementales
   • Modelo de datos estandarizado
   • Ecalabilidad horizontal universal

5. 4ta Generación, ¿Qué sigue?

   • Mejorar la Calidad
     • Cumplimientos con el esquema
     • Agregar verificaciones semánticas
   • Mejorar la Latencia a 5min
   • Mejorar la Eficiencia, dockerization
   • Mejorar la Escalabilidad y fiabilidad
     • Lograr independencia de la fuente de datos
     • Mejorar las actualizaciones con HUDI