GoConqr has a new look! Let us know what you think.

Sign up free

Flashcards

Bases de datos y data warehouse: SGBD, SQL y ETL

yo mismo Spanish 67 cards

Cards in this deck (67)

  1. 1Modelo Orientado a procesos ¿Que es?Arcaico
    Automatizar las tareas
    Métodos para el desarrollo de softwar
    Secuencial o paralelo
  2. 2Modelo orientado a datos ¿Que es?principal: base de datos
    Modelo relacional, documental o jerárquico (ficheros)
    OLTP (transaciones independientes) y OLAP (analisis y generacion de informes)
  3. 3Base de datosDatos estructurados (conforme a un modelo)
    Suposición de organización
    Datos -> Información util (SQL)
  4. 4BD VS BDMS ¿Que es BDMS?BSMD o SGBD intermediario entre BD y usuario (es un conjunto de programas) (cumple ANSI/SPARC)
  5. 5ANSI/SPARK (partes)Interno/Fisico: como se almacenan los datos fisicos y su organización
    Lógico: mas cercano a los usuarios, abstración de los datos, como se presentan los dato, (MR relacional)
    Externo/Conceptual: estructura, mediante esquema, (ej.: Entidad-Relación)
  6. 6aportación Modelo Relacional al SGBDtransparencia de los datos, caja negra.
    abstración básica a tablas
    Atriburos- entidades - relaciones
  7. 7SGBDR (cita 3 y no relacional)Relacionales: MySQL, PostgreSQL, MicrosoftSQL
    No relacionales: MongoDB, Cassandra y Redis
  8. 8Web Server VS APLICATION Server VS SGBD VS phpMyAdminWebServer(estatico) ó Aplication Server (interación codigo usuario): puede Apache, recibe solicitudes de crome
    phpMyAdmin: BD MySQL basade en web, webdinamica, proceso de composición socre DB.
    No son SGBD
  9. 9¿Que es una transacción?Conjunto de operaciones (todo o nada), mientras procesa bloquea el acceso.
    Acceso Concurrente a la BD (operaciones cortas de manera simultanea)
  10. 10ACIDAtomicidad: todo o nada
    Consistencia: cumple propiedades dadas a los datos
    Aislamiento: NO afecta a otras
    Durabilidad: Los datos persisten en la BD
  11. 11Contrains VS Restriciones de IntegridadContrains: semantica, por ejemplo limite de edad
    Restriciones de Integridad: metadatos, cree bien relaciones, 3FN
  12. 12Metadatos vs Diccionario de datosMetadatos: datos sobre datos, descipcion, nivel lógico
    Diccionario de datos: BD de Metadatos, guía describe la BD y objetos
  13. 13Sublenguajes o Dilectos de SQLDDL: (create, drop) opera con metadatos
    DML: (DELETE, SELECT, INSERT, UPDATE) meta-consultas
    DCL: (GRANT), permisos, conexiones
    TCL: (commit, rollback) definen trasaciones
  14. 14Funcionalidades SGBDAlmacenamiento (centralizado/ditribuido, interno/externo, memoria/disco)
    Backup y Recovery
    Concurrencia, independdencia lógica de los datos, óptimizacion, redeundacia, seguridad.
  15. 15Arquitectura Bi1-Fuente de datos-heterogeneas
    2-ETL-bruto->trans->igual a todos
    3-DataWareHouse-sistemas almacenamiento-consulta y analisis
    4-Analisis-DataMining/Clustering
    5-Presentación
  16. 16Dimensiones Clave Desde el Punto de Vista de Big DataVolumen, Variedad, Velocidad, Maleable/flixible, Integración
  17. 17MySQL Arquitecuraconnecton pool, servicios de mantenimiento, SQL interfaze, Parser (Valida sintaxis), Optimizer (estadisticas de consultas), caches & buffers (90/10), Motores de almacenamiento (ejecutan consultas), File system (DBFS-organiza los datos)
  18. 18Concurrencia -LocksTipos: Read/Write
    Niveles: Tabla, página, Fila
    Permite concurrencia si fila o página
  19. 19Motores de Almacenamiento En Mysql predeterminadosMyISAM: predefinido, antiguo, no consistencia o coherencia
    InnoDB: transaccional, ACID
  20. 20Arquitectura InnoDBHilos E/S (escriben y leen, sincronizan), Buffer Pool (cache), Buffer de LOG de transacciones (permite recuperación de transaaciones), Ficheros Log de transacciones (disco, transacciones), Ficheros de table-space (almacen fisico de tablas e indices), Fichero de datos (contine los datos)
  21. 21Funcionamiento ConsultasVerifficación buffer, Marcar dirty, registro buffer logs, escritura disco y commit, write ahead log (primero resitro, luego disco), serializar operaciones, logs
  22. 22InnoDB niveles aislamientoRead Uncommited (leer los cambios antes del commit) inconsistencia
    Read Comitted: solo puede leer cambios una vez commit, potencial cambio a otra consulta
    Respetable Read: vista independiente
    Problems: transaciones cortas (100 tuplas != 100 inserts), operaciones de borrado, tareas simultaneas
  23. 23Global History ListEs una estructura de datos que registra los cambios realizados en una BD a lo largo del tiempo.
  24. 24MVCC (Control de Concurencia Mediante Multiversiones)Crea una vista para cada transacción
    Insert: ID INSERT
    DELETE: ID Delete
    Update, ID insert , ID delete (original)
    SELECT: solo lee en filas con ID Insert
  25. 25ESTRATEGIAS DE DISEÑO DE BASES DE DATOSConultas eficientes (no JOINS), No usar boolean flags, usar indices (mejora rendimiento), NO columnas grandes en los indices, Usar Clever Keys y Order by en vez de MAX, normalizar / denormalizar
  26. 26Data WareHouse (Necesidades que conllevaron su creacion)Carga de datos continua, repetición periódica, Consultas especificas (ad-hoc) muy frecuentas, procesamiento analítico
    Util para la toma de decisiones
  27. 27NOSQLno SGBDR, no tablas o no SQL sino variante.
    Ej.: Almacenamiento/ proceso distribuido, streaming/timepo real, datos no estructurados, heterogéneos, paralelismo
  28. 28OLAP vs OLTPOLAP: multidimensional, datos agregados, lectura de datos, dinamico, temporal
    Dimensiones(atributos para analizar),
    Hechos: datos a analizar
    OLTP: transacciones de BD, ACID, operaciones de escritura, estatuco, atemporal
  29. 29Information schema en OLAPSe mete en almacenamiento tempora, modo solo lectura, en Memory.
    Objetivo: cambiar las consultas a meta consultas (ej.: count)
    PATH de ACCESO
  30. 30Índices Cluster (uso)Almacenan las filas de datos en los nodos hoja del árbol del índice (1 por tabla), determina la localización física, así hay que acede a menos a disco
  31. 31Almacenamiento filas/columnas/particionadoFilas:añadir y modificar registros completos
    Columnas: eficiente para subconjunto lectura
    Particionado Vertical: divide una tabla en más pequeñas basadas en columnas, pudiendo acceder al subconjunto
  32. 32DATA WAREHOUSE SEGÚN BILL INMONparte de BI, conviven Data WareHouse (3FN) y varios Data Mars
    Orientasdos a un fin especifico, no volatiles, información heterogenia, tiempo dimensión explícita
    Definición orientada a la implementación
  33. 33Data WareHouse según Ralph KimballDW union de los Data Mars, modelo multidimensional,
    DW copia Operacional, pero organizada para facilitar consultas
    Definicion orientada a la Función
  34. 34Integridad de datos en el DWGarantiza la valided y consistencia.
    Problemas: particionado, replicación, clustering, datos distribuidos
    Solución Metadatos:
    Nicel de la BD: integridad referencial y unicidad, Not NULL, restriciones
    ETLS: Validación, Trazable, Repetibilidad, prevneción modificaciones nono, tests
    Nivel de Acceso: solo personal autorizado
  35. 35ETL (Funcionalidades)Integración de datos (funete heterogeneas), Aplicación reglas de negocio, limpiado de datos, filtrado de datos, divisíon de columnas, consolidación y validación (consolidar los datos de varias funetes ej.: agregación)
  36. 36OLAP CaracterísticasAnálisis (facilita obtención info), Multidimensionalidad (varios enfoques de datos), Agilidad, Compartición (concurrente), Información (contexto), 4ºRegla CODD (uniformidad en la representación y manipulación de datos y metadatos en un SGBD, relacional para metadatos).
  37. 37MOLAPCubo multidimensinal, Actulaización de datos, latencia (potencial inconsistencia con origen), alto rendimiento (copia origen)
    Desventajas: Almacenamiento y coste
  38. 38ROLAPRealcional para el almacenamiento, multidimensional sobre BDR, timepo real, ahorro almacenamiento, integridad y transaciones
    Desventajas: - rendimiento y eficiencia, consistencia en ETL
  39. 39HOLAPCombina ROLAP y MOLAP.
    Mayorida de datos en SGBDR, frecuente en multidimensional, almacena agregaciones, no copia directa origen
  40. 40Capas Integración: ODS (Operational Data Store)Puente entre OLTP y OLAP, permite consultas en tiempo real, informes bajo demanda.
    Sin interferir con OLTP
  41. 41Capas Integración: Staging Area (Área de Desarrollo, Pruebas o Ensayo)Area temporal, BDR (normalmente), se pone entre su carga y el DW o DM, seguridad maxima
    Permite carga de datos temporales, aqui se hacen las homologaciones
  42. 42Capas Integración: Data MartsSubconjuntos de datos estructurados y dispuestos para proceso concreto.
    DW de proposito especifico
  43. 43Etapas diseño del DWExtensión del modelo entidad relación (matices de uso, extración de patrones)
    Diseño de fragmentación (tablas pequeñas), Diseño de replicación (datos a copiar y cuantas), Diseño de Localización Fisica, implmentación
  44. 44Apache Kafka (Uso)Plataforma para streams, tranferrir grandes volumenes de datos (producto-consumidor). Puedes usar Hadoop como almacenamiento.
    Sirve para crear ETLs
  45. 45ETLs PrincipiosUnificación de datos (tratar todo igual para que sea modulable).
    Descoplamiento entre productores y consumidores
    No monolítico (microservicios)
    Ariotectura distribuida, escalable y fiable
  46. 46Arquitectura Apache KafkaSistema entrada, Productores (input info, clientes), Brokers (agrupados clusters, procesan, almacenan, distribuyen, data node), consumidores (toma datos de brokers, genera reportes, suscriben a topico, 1 lee a la vez por cosumer group), Zookeeper ensemble (sincronización e integración, Almacenamiento destribuido de clabes, ACL(listas de control de acceso)), sistema de salida.
  47. 47Elementos de Kafka: Registro (definicion)Unidad EVENTO representado en una estructura REGISTRO (clave, valor, timestamp, topic y partición, desplazamiento (posición de dicha colección), cabeceras)
    Autodescriptivos
  48. 48Elementos de Kafka: Topicos (definicion y uso)etiquetas para agrupar los mensajes, almacenamiento mediante segmentos y particiones. N:N productor-topico.
    Sobre escriben las particiones (minimo: timepo de retención de kafka TTL), Lectura ordenada, replicacón datos, almacenamiento continuo.
  49. 49Elementos de Kafka: Particiones (definicion)particionado de registro en un topic (ordenado por desplazamiento), estrategia de particionado (hash clave), orden dentro de las particiones (Offset, para registrar orden), cambios en el contenido clave (a cualquier cambio otro topico)
  50. 50Elementos de Kafka: BrokersNodos (Zookeper, productores o consumidores), brokers procesan.
    Servidores ksqlDB (Analisis en tiempo real sin consultar a los brokers)
  51. 51ksqlDBBD sobre kafka
    Consultas en tiempo real usando SQL
    Stremas: colección particionada e inmutable de mensajes, registro histórico
    Tablas: mutable, representa el ahora
    Eventos: un hecho sucedido c|v|@ts
    Coonectores: souce/sink datos kafka
  52. 52ksqlDB: Consultas (tipos)PUSH: activamente recibe resultados, suscribe (EMIT CHANGES)
    PULL: devuleve el estado actual, materializado en tablas.
  53. 53ksqlDB: Operacion de Agregado (definicion)Hace referencia a las operaciones que se hacen sobre los resultados, no sobre los propios datos almacenados
  54. 54ksqlDB: ETL FLOWSSi un mismo evento viene de 2 fuentes, tendra doble etiqueta y metadatos.
    ELK: ELASTIC SEARCH() indexadores que peermiten hacer busqiead eficientes
  55. 55KsqlDB: SerializadoresConvertir de clave-valor a array de bytes, y desarealizacion lo opuesto
  56. 56KsqlDB: Schema (como se forma)KSQL es acorada, en ksqlDb es transparente almacenado en el schema registry para stream/table.
    Pero se define en los topicos
  57. 57ksqldb: Compactación (¿Que es?)Proceso de eliminación en brokers de los hecho no recientes, perodicamente
    (controlamos los changelogs, registran los cambios)
  58. 58Esquema EstrellaModelo Lógico que implementa el modelo multidimensional sobre un SGBDR donde cada dimensión se mapea como una tabla, y otra para el hecho.
    Se normaliza los datos
  59. 59SAKILA STAR: keys (¿gestion?)Necesita Surrogate Key para saber si se refienren a la misma instacia, pero necesita otra key unica para el ROLAP.
    Asi se puede tener el historico.
  60. 60Sakila star: Tabla de hechos (uso)columnas almacenan las medidas/metricas
    Valores numericos predominan, mantener el historico, FK asociada a cada dimensión (no integridad referencial), Normalizadas
  61. 61Sakila star: tipos de hechostransacionales: eventos individuales (ej.: cada alquiler de una pelicula)
    Snapshots: Captura el estado (resgistra el saldo en una cuenta diarimanete)
    Versión ACumulatica: Registra el estado más reciente, elimina pasado (saber si ahora esta alquilada un propiedad)
  62. 62Sakila Star: Tabla de dimensionesLa ETL, carga primero las dimensiones, por las FKs.
  63. 63Sakola Star: DBT (que es)Combina SQL modular con prácticas de transformación de datos
    ELT: Transformamos despues
  64. 64Sakila Star: DBT Data Models (tipos)Base Models: origenes de datos y integra capa staging
    Staging Models: capa intermedia y temporal
    Mart Models: Analisis multidimensional
  65. 65Sakila Star: VocabularioSouce: tablas externa, Seeds: datos estaticos (csv), Models (CTEs): SQL
    Materialización: resultado transformaciones (view, tbale, incremental (solo afecta a datos que ya hayan sido transformados)).
  66. 66ClickHouse Connertor a Kafka Setting tablaENGINE = Kafka() SETTINGS
    kafka_broker_list = 'broker:9092',
    kafka_topic_list = 'accesos',
    kafka_group_name = 'clickhouse',
    format_avro_schema_registry_url = 'http://schema-registry:8081',
    kafka_format = 'AvroConfluent';
  67. 67Click House Materialize y consulta funciones a suarMaterialize: ...state
    CREATE MATERIALIZED VIEW ibd05.hstats_mv TO ibd05.hstats
    (e.: uniqstate, countState)
    Consulta: ...Merge
    (ej.: uniqMerge, countMerge)

Information

Description
Flashcards on Untitled, created by yo mismo on 27/05/2024.
Created by
yo mismo
Views
8
Rating

Feedback

What is it about?

What do you think of the new look?

How do you like it?