Flashcards
Bases de datos y data warehouse: SGBD, SQL y ETL
Flashcards do conjunto (67)
- 1Modelo Orientado a procesos ¿Que es?Arcaico
Automatizar las tareas
Métodos para el desarrollo de softwar
Secuencial o paralelo - 2Modelo orientado a datos ¿Que es?principal: base de datos
Modelo relacional, documental o jerárquico (ficheros)
OLTP (transaciones independientes) y OLAP (analisis y generacion de informes) - 3Base de datosDatos estructurados (conforme a un modelo)
Suposición de organización
Datos -> Información util (SQL) - 4BD VS BDMS ¿Que es BDMS?BSMD o SGBD intermediario entre BD y usuario (es un conjunto de programas) (cumple ANSI/SPARC)
- 5ANSI/SPARK (partes)Interno/Fisico: como se almacenan los datos fisicos y su organización
Lógico: mas cercano a los usuarios, abstración de los datos, como se presentan los dato, (MR relacional)
Externo/Conceptual: estructura, mediante esquema, (ej.: Entidad-Relación) - 6aportación Modelo Relacional al SGBDtransparencia de los datos, caja negra.
abstración básica a tablas
Atriburos- entidades - relaciones - 7SGBDR (cita 3 y no relacional)Relacionales: MySQL, PostgreSQL, MicrosoftSQL
No relacionales: MongoDB, Cassandra y Redis - 8Web Server VS APLICATION Server VS SGBD VS phpMyAdminWebServer(estatico) ó Aplication Server (interación codigo usuario): puede Apache, recibe solicitudes de crome
phpMyAdmin: BD MySQL basade en web, webdinamica, proceso de composición socre DB.
No son SGBD - 9¿Que es una transacción?Conjunto de operaciones (todo o nada), mientras procesa bloquea el acceso.
Acceso Concurrente a la BD (operaciones cortas de manera simultanea) - 10ACIDAtomicidad: todo o nada
Consistencia: cumple propiedades dadas a los datos
Aislamiento: NO afecta a otras
Durabilidad: Los datos persisten en la BD - 11Contrains VS Restriciones de IntegridadContrains: semantica, por ejemplo limite de edad
Restriciones de Integridad: metadatos, cree bien relaciones, 3FN - 12Metadatos vs Diccionario de datosMetadatos: datos sobre datos, descipcion, nivel lógico
Diccionario de datos: BD de Metadatos, guía describe la BD y objetos - 13Sublenguajes o Dilectos de SQLDDL: (create, drop) opera con metadatos
DML: (DELETE, SELECT, INSERT, UPDATE) meta-consultas
DCL: (GRANT), permisos, conexiones
TCL: (commit, rollback) definen trasaciones - 14Funcionalidades SGBDAlmacenamiento (centralizado/ditribuido, interno/externo, memoria/disco)
Backup y Recovery
Concurrencia, independdencia lógica de los datos, óptimizacion, redeundacia, seguridad. - 15Arquitectura Bi1-Fuente de datos-heterogeneas
2-ETL-bruto->trans->igual a todos
3-DataWareHouse-sistemas almacenamiento-consulta y analisis
4-Analisis-DataMining/Clustering
5-Presentación - 16Dimensiones Clave Desde el Punto de Vista de Big DataVolumen, Variedad, Velocidad, Maleable/flixible, Integración
- 17MySQL Arquitecuraconnecton pool, servicios de mantenimiento, SQL interfaze, Parser (Valida sintaxis), Optimizer (estadisticas de consultas), caches & buffers (90/10), Motores de almacenamiento (ejecutan consultas), File system (DBFS-organiza los datos)
- 18Concurrencia -LocksTipos: Read/Write
Niveles: Tabla, página, Fila
Permite concurrencia si fila o página - 19Motores de Almacenamiento En Mysql predeterminadosMyISAM: predefinido, antiguo, no consistencia o coherencia
InnoDB: transaccional, ACID - 20Arquitectura InnoDBHilos E/S (escriben y leen, sincronizan), Buffer Pool (cache), Buffer de LOG de transacciones (permite recuperación de transaaciones), Ficheros Log de transacciones (disco, transacciones), Ficheros de table-space (almacen fisico de tablas e indices), Fichero de datos (contine los datos)
- 21Funcionamiento ConsultasVerifficación buffer, Marcar dirty, registro buffer logs, escritura disco y commit, write ahead log (primero resitro, luego disco), serializar operaciones, logs
- 22InnoDB niveles aislamientoRead Uncommited (leer los cambios antes del commit) inconsistencia
Read Comitted: solo puede leer cambios una vez commit, potencial cambio a otra consulta
Respetable Read: vista independiente
Problems: transaciones cortas (100 tuplas != 100 inserts), operaciones de borrado, tareas simultaneas - 23Global History ListEs una estructura de datos que registra los cambios realizados en una BD a lo largo del tiempo.
- 24MVCC (Control de Concurencia Mediante Multiversiones)Crea una vista para cada transacción
Insert: ID INSERT
DELETE: ID Delete
Update, ID insert , ID delete (original)
SELECT: solo lee en filas con ID Insert - 25ESTRATEGIAS DE DISEÑO DE BASES DE DATOSConultas eficientes (no JOINS), No usar boolean flags, usar indices (mejora rendimiento), NO columnas grandes en los indices, Usar Clever Keys y Order by en vez de MAX, normalizar / denormalizar
- 26Data WareHouse (Necesidades que conllevaron su creacion)Carga de datos continua, repetición periódica, Consultas especificas (ad-hoc) muy frecuentas, procesamiento analítico
Util para la toma de decisiones - 27NOSQLno SGBDR, no tablas o no SQL sino variante.
Ej.: Almacenamiento/ proceso distribuido, streaming/timepo real, datos no estructurados, heterogéneos, paralelismo - 28OLAP vs OLTPOLAP: multidimensional, datos agregados, lectura de datos, dinamico, temporal
Dimensiones(atributos para analizar),
Hechos: datos a analizar
OLTP: transacciones de BD, ACID, operaciones de escritura, estatuco, atemporal - 29Information schema en OLAPSe mete en almacenamiento tempora, modo solo lectura, en Memory.
Objetivo: cambiar las consultas a meta consultas (ej.: count)
PATH de ACCESO - 30Índices Cluster (uso)Almacenan las filas de datos en los nodos hoja del árbol del índice (1 por tabla), determina la localización física, así hay que acede a menos a disco
- 31Almacenamiento filas/columnas/particionadoFilas:añadir y modificar registros completos
Columnas: eficiente para subconjunto lectura
Particionado Vertical: divide una tabla en más pequeñas basadas en columnas, pudiendo acceder al subconjunto - 32DATA WAREHOUSE SEGÚN BILL INMONparte de BI, conviven Data WareHouse (3FN) y varios Data Mars
Orientasdos a un fin especifico, no volatiles, información heterogenia, tiempo dimensión explícita
Definición orientada a la implementación - 33Data WareHouse según Ralph KimballDW union de los Data Mars, modelo multidimensional,
DW copia Operacional, pero organizada para facilitar consultas
Definicion orientada a la Función - 34Integridad de datos en el DWGarantiza la valided y consistencia.
Problemas: particionado, replicación, clustering, datos distribuidos
Solución Metadatos:
Nicel de la BD: integridad referencial y unicidad, Not NULL, restriciones
ETLS: Validación, Trazable, Repetibilidad, prevneción modificaciones nono, tests
Nivel de Acceso: solo personal autorizado - 35ETL (Funcionalidades)Integración de datos (funete heterogeneas), Aplicación reglas de negocio, limpiado de datos, filtrado de datos, divisíon de columnas, consolidación y validación (consolidar los datos de varias funetes ej.: agregación)
- 36OLAP CaracterísticasAnálisis (facilita obtención info), Multidimensionalidad (varios enfoques de datos), Agilidad, Compartición (concurrente), Información (contexto), 4ºRegla CODD (uniformidad en la representación y manipulación de datos y metadatos en un SGBD, relacional para metadatos).
- 37MOLAPCubo multidimensinal, Actulaización de datos, latencia (potencial inconsistencia con origen), alto rendimiento (copia origen)
Desventajas: Almacenamiento y coste - 38ROLAPRealcional para el almacenamiento, multidimensional sobre BDR, timepo real, ahorro almacenamiento, integridad y transaciones
Desventajas: - rendimiento y eficiencia, consistencia en ETL - 39HOLAPCombina ROLAP y MOLAP.
Mayorida de datos en SGBDR, frecuente en multidimensional, almacena agregaciones, no copia directa origen - 40Capas Integración: ODS (Operational Data Store)Puente entre OLTP y OLAP, permite consultas en tiempo real, informes bajo demanda.
Sin interferir con OLTP - 41Capas Integración: Staging Area (Área de Desarrollo, Pruebas o Ensayo)Area temporal, BDR (normalmente), se pone entre su carga y el DW o DM, seguridad maxima
Permite carga de datos temporales, aqui se hacen las homologaciones - 42Capas Integración: Data MartsSubconjuntos de datos estructurados y dispuestos para proceso concreto.
DW de proposito especifico - 43Etapas diseño del DWExtensión del modelo entidad relación (matices de uso, extración de patrones)
Diseño de fragmentación (tablas pequeñas), Diseño de replicación (datos a copiar y cuantas), Diseño de Localización Fisica, implmentación - 44Apache Kafka (Uso)Plataforma para streams, tranferrir grandes volumenes de datos (producto-consumidor). Puedes usar Hadoop como almacenamiento.
Sirve para crear ETLs - 45ETLs PrincipiosUnificación de datos (tratar todo igual para que sea modulable).
Descoplamiento entre productores y consumidores
No monolítico (microservicios)
Ariotectura distribuida, escalable y fiable - 46Arquitectura Apache KafkaSistema entrada, Productores (input info, clientes), Brokers (agrupados clusters, procesan, almacenan, distribuyen, data node), consumidores (toma datos de brokers, genera reportes, suscriben a topico, 1 lee a la vez por cosumer group), Zookeeper ensemble (sincronización e integración, Almacenamiento destribuido de clabes, ACL(listas de control de acceso)), sistema de salida.
- 47Elementos de Kafka: Registro (definicion)Unidad EVENTO representado en una estructura REGISTRO (clave, valor, timestamp, topic y partición, desplazamiento (posición de dicha colección), cabeceras)
Autodescriptivos - 48Elementos de Kafka: Topicos (definicion y uso)etiquetas para agrupar los mensajes, almacenamiento mediante segmentos y particiones. N:N productor-topico.
Sobre escriben las particiones (minimo: timepo de retención de kafka TTL), Lectura ordenada, replicacón datos, almacenamiento continuo. - 49Elementos de Kafka: Particiones (definicion)particionado de registro en un topic (ordenado por desplazamiento), estrategia de particionado (hash clave), orden dentro de las particiones (Offset, para registrar orden), cambios en el contenido clave (a cualquier cambio otro topico)
- 50Elementos de Kafka: BrokersNodos (Zookeper, productores o consumidores), brokers procesan.
Servidores ksqlDB (Analisis en tiempo real sin consultar a los brokers) - 51ksqlDBBD sobre kafka
Consultas en tiempo real usando SQL
Stremas: colección particionada e inmutable de mensajes, registro histórico
Tablas: mutable, representa el ahora
Eventos: un hecho sucedido c|v|@ts
Coonectores: souce/sink datos kafka - 52ksqlDB: Consultas (tipos)PUSH: activamente recibe resultados, suscribe (EMIT CHANGES)
PULL: devuleve el estado actual, materializado en tablas. - 53ksqlDB: Operacion de Agregado (definicion)Hace referencia a las operaciones que se hacen sobre los resultados, no sobre los propios datos almacenados
- 54ksqlDB: ETL FLOWSSi un mismo evento viene de 2 fuentes, tendra doble etiqueta y metadatos.
ELK: ELASTIC SEARCH() indexadores que peermiten hacer busqiead eficientes - 55KsqlDB: SerializadoresConvertir de clave-valor a array de bytes, y desarealizacion lo opuesto
- 56KsqlDB: Schema (como se forma)KSQL es acorada, en ksqlDb es transparente almacenado en el schema registry para stream/table.
Pero se define en los topicos - 57ksqldb: Compactación (¿Que es?)Proceso de eliminación en brokers de los hecho no recientes, perodicamente
(controlamos los changelogs, registran los cambios) - 58Esquema EstrellaModelo Lógico que implementa el modelo multidimensional sobre un SGBDR donde cada dimensión se mapea como una tabla, y otra para el hecho.
Se normaliza los datos - 59SAKILA STAR: keys (¿gestion?)Necesita Surrogate Key para saber si se refienren a la misma instacia, pero necesita otra key unica para el ROLAP.
Asi se puede tener el historico. - 60Sakila star: Tabla de hechos (uso)columnas almacenan las medidas/metricas
Valores numericos predominan, mantener el historico, FK asociada a cada dimensión (no integridad referencial), Normalizadas - 61Sakila star: tipos de hechostransacionales: eventos individuales (ej.: cada alquiler de una pelicula)
Snapshots: Captura el estado (resgistra el saldo en una cuenta diarimanete)
Versión ACumulatica: Registra el estado más reciente, elimina pasado (saber si ahora esta alquilada un propiedad) - 62Sakila Star: Tabla de dimensionesLa ETL, carga primero las dimensiones, por las FKs.
- 63Sakola Star: DBT (que es)Combina SQL modular con prácticas de transformación de datos
ELT: Transformamos despues - 64Sakila Star: DBT Data Models (tipos)Base Models: origenes de datos y integra capa staging
Staging Models: capa intermedia y temporal
Mart Models: Analisis multidimensional - 65Sakila Star: VocabularioSouce: tablas externa, Seeds: datos estaticos (csv), Models (CTEs): SQL
Materialización: resultado transformaciones (view, tbale, incremental (solo afecta a datos que ya hayan sido transformados)). - 66ClickHouse Connertor a Kafka Setting tablaENGINE = Kafka() SETTINGS
kafka_broker_list = 'broker:9092',
kafka_topic_list = 'accesos',
kafka_group_name = 'clickhouse',
format_avro_schema_registry_url = 'http://schema-registry:8081',
kafka_format = 'AvroConfluent'; - 67Click House Materialize y consulta funciones a suarMaterialize: ...state
CREATE MATERIALIZED VIEW ibd05.hstats_mv TO ibd05.hstats
(e.: uniqstate, countState)
Consulta: ...Merge
(ej.: uniqMerge, countMerge)
Informações
- Descrição
- FlashCards sobre Sem título, criado por yo mismo em 27-05-2024.
- Criado por
- yo mismo
- Visualizações
- 8
- Avaliação