Mind map

Uber BigData

Guillermo Vieira Curti Informática Spanish

Map content

Uber BigData

Comienzo , antes del 2014
- Almacenamiento en varias DB tradicionales, sin una vista global
- Tamaño: Pocos TB
- Acceso rápido
1era Generación, 2014-2015
- Tamaño: 10 ~ varios cientos de TB
- Almacenamiento Centralizado - Vertica logrando una vista global
- Categorizacion de usuarios de los datos
  - City operations teams
  - Data scientist and analysts
  - Engineering teams
- Acceso: 24 ~ 48Hs
- Multiples desarrollos AD HOC de ETC
- Interfaz estandar SQL
- Aumento significativo en:
  - data-driven
  - Analytical data
  - Machine learning
2da Generación, 2015-2016
- Tamaño: 10PB
- Acceso: 24hs
- Almacenamiento en Haddop
- Plataforma escalable de carga de datos
- Incorporación de:
  - Presto
  - Spark
  - Apache Hive
  - Apache Parquet
- Escalabilidad horizontal mejorada
3era Generación, 2017-2019
- Tamaño: 100PB
- Acceso: < 1h
- Para el diseño se analizaron:
  - Patrones de acceso
  - Requisitos
  - Problemas encontrados
- Creación de HUDI
- Actualizaciones Incrementales
- Modelo de datos estandarizado
- Ecalabilidad horizontal universal
4ta Generación, ¿Qué sigue?
- Mejorar la Calidad
  - Cumplimientos con el esquema
  - Agregar verificaciones semánticas
- Mejorar la Latencia a 5min
- Mejorar la Eficiencia, dockerization
- Mejorar la Escalabilidad y fiabilidad
  - Lograr independencia de la fuente de datos
  - Mejorar las actualizaciones con HUDI

Description: Informática Mind Map on Uber BigData, created by Guillermo Vieira Curti on 20/03/2019.
Created by: Guillermo Vieira Curti
Views: 0
Rating