Resumen Big Data

Page 1

📊 1.1.1 - Hablemos de Big Data

🎯 Objetivos de Aprendizaje:

Introducir el concepto de Big Data.

Explicar su relevancia en el mundo actual.

Comprender cómo Big Data mejora la toma de decisiones y crea valor empresarial.

📌 ¿Qué es Big Data?

Big Data se refiere a conjuntos de datos tan grandes y complejos que no pueden ser gestionados eficientemente con herramientas tradicionales. Ejemplos: hojas de cálculo, bases de datos relacionales.

🔑 Características Clave: Las 5 V

Volumen: Terabytes, petabytes o más. Ej: millones de datos de sensores IoT.

Velocidad: Datos generados y procesados en tiempo real. Ej: transacciones financieras, redes sociales.

Variedad: Datos estructurados (tablas), semi-estructurados (JSON, XML) y no estructurados (videos, imágenes, texto).

Veracidad: Calidad y confiabilidad del dato. ¿Es correcto, completo, sin duplicación?

Valor: El valor útil que se extrae. No todo dato es relevante.

🔍 Complemento actual: Hoy también se habla de una 6ta V – Volatilidad, que se refiere a la duración útil del dato. Algunos datos solo son valiosos por segundos (ej: alerta de tráfico).

💬 Preguntas Activadoras:

¿Cómo puede el análisis de datos cambiar las decisiones?

¿Conoces empresas que ya lo usen? (Ej: Amazon, Netflix, Spotify, MercadoLibre).

🏢 Contexto Organizacional

Big Data mejora:

Toma de decisiones basada en hechos, no intuiciones.

Personalización de productos/servicios.

Eficiencia operativa (menos errores, procesos optimizados).

Detección de patrones u oportunidades.

Ejemplo:

Amazon analiza compras en tiempo real para:

Ofrecer productos relacionados.

Ajustar precios dinámicamente.

Gestionar inventario en almacenes regionales.

🔄 Evolución del Big Data

PeríodoTecnología ClaveTipo de DatosCambios Importantes

1960s–1980sBases de datos relacionales (RDBMS)Datos estructuradosEn mainframes

1990s–2000sWeb 2.0, Hadoop (2006)Datos no estructuradosLogs, multimedia, correos

2010s–HoySpark, ML, IoT, NoSQLStreaming en tiempo realSocial media, sensores, autos conectados

🧠 Complemento actual: El auge de la inteligencia artificial y el edge computing (procesamiento en dispositivos cercanos) también ha revolucionado el análisis de datos.

✅ Beneficios del Big Data

Decisiones informadas y en tiempo real.

Optimización de procesos y costos.

Prevención de fraudes en sectores como banca o retail.

Desarrollo de nuevos productos basados en preferencias reales.

Ejemplo real: En la salud, se usa Big Data para analizar imágenes médicas (radiografías, escáneres) y detectar patrones de enfermedades antes que los humanos.

⚠️ Riesgos y Desafíos

RetoDetalleEjemplo

Privacidad de datosUso indebido puede violar leyes como GDPRCaso Cambridge Analytica

Calidad del datoDatos incorrectos llevan a decisiones erróneasDiagnóstico médico errado por datos incompletos

Habilidades técnicasSe requieren perfiles con conocimientos en Python, Spark, SQL, MLEscasez de talentos en Data Science

🧾 Conclusión de la presentación

Big Data ya no es opcional: las organizaciones deben adoptarlo si quieren competir.

Impacta todos los sectores: banca, salud, retail, educación, energía.

Las empresas que saben explotar los datos obtienen ventajas estratégicas.

🧠 Dato adicional: En 2025 se espera que el mundo genere más de 181 zettabytes de datos al año (IDC). Por eso, entender Big Data es esencial hoy.

Page 2

📘 1.1.2 - Actividad Introductoria Big Data

🎯 Objetivo General:

Identificar qué es Big Data, su relevancia actual y cómo se aplica en diferentes industrias, con énfasis en su impacto para la toma de decisiones empresariales.

✅ Repaso teórico (refuerzo de conceptos de la clase anterior)

✔ Big Data y las "V"

Se reconoce que Big Data no solo tiene 3 V (Volumen, Velocidad, Variedad), sino que también se pueden añadir:

Veracidad: Fiabilidad del dato.

Valor: Utilidad que se puede extraer.

Esto refuerza que Big Data no es solo "cantidad", sino también calidad y aplicabilidad.

❌ Falsas concepciones corregidas:

Big Data no es solo para el ámbito tecnológico. Tiene aplicaciones reales en:

Marketing (segmentación de clientes).

Salud (diagnóstico preventivo).

Finanzas (detección de fraude).

Agricultura (predicción climática y optimización de cultivos).

No es una solución única: requiere adaptarse al contexto, necesidades y capacidades de cada empresa.

No se puede procesar con herramientas tradicionales: por eso se usan tecnologías como Apache Hadoop, Spark, Kafka, bases de datos NoSQL, plataformas cloud (AWS, GCP, Azure).

🛠 Actividad grupal (resumen conceptual)

Aunque está diseñada como una dinámica, permite destacar puntos clave para el análisis de casos reales con Big Data:

Identificar el problema que resuelve Big Data en la industria.

Reconocer las herramientas empleadas (o las más adecuadas).

Relacionar el tipo de datos y volumen con las tecnologías más eficientes.

Evaluar impacto: ¿Mejoró la toma de decisiones? ¿Aumentó ingresos o eficiencia?

🧠 Complemento de conocimiento:

🔧 Herramientas típicas que se suelen encontrar en los casos de éxito:

Apache Hadoop: Para almacenamiento y procesamiento batch de grandes volúmenes.

Apache Spark: Procesamiento distribuido en memoria, ideal para análisis rápidos.

Apache Kafka: Para ingesta y transmisión de datos en tiempo real.

MongoDB / Cassandra: Bases de datos NoSQL.

BigQuery (Google), Redshift (AWS): Para análisis masivo de datos en la nube.

Power BI / Looker Studio / Tableau: Visualización de datos.

📈 Ámbitos de aplicación de Big Data en empresas reales:

Netflix: Recomendaciones de contenido basadas en comportamiento.

Walmart: Optimización de inventario y detección de picos de demanda.

Uber: Dinámicas de precios en tiempo real según oferta y demanda.

Pfizer: Investigación acelerada en vacunas con análisis de millones de datos clínicos.

🧾 Conclusión del contenido:

Big Data es una disciplina estratégica que debe adaptarse al contexto particular de cada organización. Las tecnologías son el medio, pero el verdadero valor está en su aplicación para resolver problemas concretos.

🧠 Tip de estudio: Siempre relacioná una herramienta con un propósito (Ej: Spark → análisis rápido, Kafka → datos en tiempo real, NoSQL → datos no estructurados, etc.).

Page 3

🧱 1.2.1 – Ecosistema de Big Data (on-premise) – RESUMEN ESENCIAL

📌 ¿Qué es una solución on-premise?

Infraestructura propia, instalada dentro de la empresa (no usa la nube).

Se usa donde se requiere máximo control de los datos.

🔹 Ventajas:

Más privacidad y control total.

Útil en banca, defensa, salud.

🔸 Desventajas:

Costosa, menos escalable y flexible.

Requiere personal técnico especializado.

🔧 Tecnologías clave del ecosistema on-premise:

1. Apache Hadoop

Para almacenamiento distribuido y procesamiento de grandes volúmenes.

Se compone de:

HDFS (almacén).

MapReduce (procesamiento en paralelo).

Ideal para análisis batch (ej: logs históricos, fraudes).

2. Apache Spark

Procesamiento rápido y en memoria.

Soporta batch y streaming en tiempo real.

Útil para análisis predictivo, ML, procesamiento de redes sociales.

3. Apache Kafka

Transmisión de datos en tiempo real.

Ideal para flujos constantes (sensores, transacciones, logs).

Escalable y tolerante a fallos.

4. Bases de datos NoSQL

Para datos no estructurados o semi-estructurados.

MongoDB: datos flexibles como JSON.

Cassandra: alta disponibilidad y escalabilidad horizontal.

💡 ¿Cuándo usar on-premise?

Cuando necesitás control total.

Si ya tenés infraestructura instalada.

Si el cumplimiento normativo lo exige.

Page 4

☁️ 1.2.2 – Ecosistema de Big Data (Cloud) – RESUMEN ESENCIAL

📌 ¿Qué es Big Data en la nube?

Uso de plataformas cloud (como GCP, AWS, Azure) para almacenar, procesar y analizar grandes volúmenes de datos sin infraestructura física propia.

✅ Ventajas clave:

Elasticidad: Escala según demanda.

Rapidez de implementación: No necesitás instalar hardware.

Pago por uso: Solo pagás por lo que consumís.

Actualizaciones automáticas: Siempre estás al día con lo último.

🔧 Plataformas y herramientas más importantes:

🌐 Google Cloud Platform (GCP)

BigQuery: análisis rápido de grandes datasets.

Dataflow: procesamiento en streaming y batch.

Pub/Sub: ingesta en tiempo real.

Dataproc: clusters Hadoop/Spark administrados.

🟡 Amazon Web Services (AWS)

Redshift: almacén de datos optimizado para SQL.

EMR: Hadoop/Spark en la nube.

Kinesis: datos en tiempo real.

Glue: servicio ETL.

S3: almacenamiento escalable.

Lambda: ejecución de código sin servidor.

Athena: consultas SQL sobre datos en S3.

🔵 Microsoft Azure

Synapse Analytics: procesamiento analítico.

Data Lake: almacenamiento.

Stream Analytics: datos en tiempo real.

🧠 ¿Cuándo usar Big Data en la nube?

Si tu empresa no tiene infraestructura propia.

Si necesitás agilidad, flexibilidad y escalabilidad.

Si tu volumen de datos varía mucho o trabajás a nivel global.

🔁 Comparado con on-premise:

Aspecto On-Premise Cloud

Control Total Parcial (depende del proveedor)

Costo inicial Alto Bajo (pago por uso)

Escalabilidad Limitada Alta

Implementación Lenta Rápida

Page 5

🛡️ 1.3.1 – Gobierno de Datos – RESUMEN ESENCIAL

📌 ¿Qué es el gobierno de datos?

Es el conjunto de políticas, procesos y herramientas que garantizan que los datos sean:

Correctos

Seguros

Disponibles

Usados adecuadamente durante todo su ciclo de vida.

🔧 Componentes clave:

1. Políticas de gestión de datos

Acceso: quién puede ver/modificar datos.

Uso: cómo pueden ser usados (solo para fines autorizados).

Retención: cuánto tiempo se guardan antes de archivarse o eliminarse.

2. Calidad del dato

Integridad: datos completos y sin errores.

Consistencia: mismos valores y formatos en todos los sistemas.

Exactitud: datos que representan correctamente la realidad.

Disponibilidad: acceso cuando se necesite.

Redundancia mínima: evitar duplicados innecesarios.

3. Seguridad de los datos

Acceso autorizado únicamente.

Cifrado en tránsito y en reposo (proteger cuando se mueve y cuando se guarda).

Cumplimiento normativo: como GDPR, HIPAA, ISO 27001.

4. Auditoría y monitoreo

Registro de actividades (quién accedió, qué modificó, cuándo).

Monitoreo de uso y rendimiento.

Reportes de cumplimiento para auditorías internas o externas.

☁️ Comparativa de herramientas por proveedor cloud:

Proveedor Herramientas destacadas

AWS Lake Formation, Macie, CloudTrail

GCP Cloud Data Catalog, IAM, DLP

Azure Purview, Defender for Cloud, Monitor

🎯 ¿Por qué es importante?

Evita multas y sanciones legales.

Asegura decisiones basadas en datos fiables.

Protege la reputación de la empresa.

Reduce riesgos de seguridad y mal uso del dato.

Page 6

🔄 1.3.2 – Ciclo de Vida del Dato – RESUMEN ESENCIAL

📌 ¿Qué es el ciclo de vida del dato?

Es el proceso completo que siguen los datos desde que se generan hasta que se eliminan. Es clave para asegurar calidad, seguridad y eficiencia en el uso de los datos.

🧩 Fases del ciclo de vida:

1. Creación / Obtención

Datos generados desde sensores, apps, redes sociales, transacciones, etc.

Se clasifican según su sensibilidad, criticidad y propósito.

2. Almacenamiento

Elección del tipo de almacenamiento:

Estructurado (bases SQL como MySQL, Cloud SQL).

No estructurado (videos, imágenes en S3, Cloud Storage).

Datos en caliente: uso frecuente (almacenamiento rápido).

Datos en frío: uso esporádico (almacenamiento barato).

3. Transformación

Limpieza: eliminar errores, duplicados, vacíos.

Integración: combinar datos de diferentes fuentes.

Enriquecimiento: agregar valor a los datos con más contexto.

Proceso ETL (Extract, Transform, Load): extrae, transforma y carga en el destino.

4. Uso / Explotación

Análisis descriptivo, predictivo o prescriptivo.

Visualización: dashboards, gráficos, reportes.

Toma de decisiones basada en datos.

5. Retención y Eliminación

Políticas de retención: cuánto tiempo conservarlos (ej: 5 años por ley).

Archivado: si no se usan pero deben conservarse.

Eliminación segura: cuando ya no son útiles ni necesarios legalmente.

🔒 Relación con el gobierno de datos:

Cada fase debe cumplir con reglas de calidad, seguridad y normativas.

La gestión del ciclo de vida debe estar automatizada y monitoreada.

💡 ¿Por qué importa?

Evita sobrecarga de datos innecesarios.

Facilita auditorías y cumplimiento normativo.

Mejora la eficiencia del almacenamiento.

Permite decisiones más precisas.

Page 7

🏗️ 1.4.1 – Arquitecturas para Big Data – RESUMEN ESENCIAL

🎯 Objetivo principal:

Entender las diferentes arquitecturas de Big Data en la nube (especialmente GCP) y cómo se combinan herramientas para construir soluciones escalables, eficientes y en tiempo real.

🧱 ¿Qué es una arquitectura de Big Data?

Es la forma en que se organizan los componentes (ingesta, almacenamiento, procesamiento, análisis, visualización) para manejar grandes volúmenes de datos. Una buena arquitectura permite:

Procesar rápido y a gran escala.

Combinar datos en tiempo real y batch.

Visualizar resultados de forma útil para la toma de decisiones.

🧩 Arquitecturas de referencia más importantes en GCP:

1. Lambda Architecture

Mixta: combina procesamiento en tiempo real + por lotes.

Usa:

Pub/Sub → ingesta en tiempo real.

Dataflow → procesamiento streaming.

Dataproc → procesamiento batch.

BigQuery / Bigtable / Cloud Storage → almacenamiento.

✅ Cuándo usarla: cuando necesitás análisis histórico + en tiempo real.

2. Kappa Architecture

Solo procesamiento en tiempo real.

Más simple que Lambda.

Usa:

Pub/Sub + Dataflow → ingesta y procesamiento.

Bigtable / Firestore → almacenamiento.

BigQuery → consultas rápidas.

✅ Cuándo usarla: cuando todo tu análisis es en tiempo real.

3. Data Lake Architecture

Almacena datos en bruto (estructurados y no estructurados) en un solo lugar.

Usa:

Storage Transfer / Dataflow → ingesta.

Cloud Storage → almacenamiento central.

Dataproc → procesamiento.

BigQuery → análisis sin mover los datos.

✅ Cuándo usarla: cuando tenés datos heterogéneos y mucha variedad.

4. IoT + Big Data Architecture

Diseñada para datos generados por dispositivos conectados.

Usa:

IoT Core + Pub/Sub → ingesta de dispositivos.

Dataflow → procesamiento.

Cloud Storage / Bigtable → almacenamiento.

Looker Studio → dashboards.

✅ Cuándo usarla: para proyectos de sensores, domótica, fábricas inteligentes.

5. Machine Learning + Big Data

Integra análisis de datos con modelos predictivos.

Usa:

Dataflow → limpieza y procesamiento.

BigQuery / Bigtable → almacenamiento.

Vertex AI → entrenamiento y despliegue de modelos.

✅ Cuándo usarla: si querés hacer predicción, clasificación, automatización inteligente.

🧾 Conclusión:

Cada arquitectura se adapta al tipo de datos y objetivo del negocio.

GCP permite componer soluciones modulares según lo que necesites: streaming, batch, ML, IoT.

Es fundamental saber elegir los servicios correctos para tener una solución eficiente, segura y escalable.

Page 8

🧪 1.4.2 – Evaluación de Arquitecturas para Big Data – RESUMEN ESENCIAL

🎯 Objetivo principal:

Aprender a elegir y justificar una arquitectura adecuada de Big Data en función del caso de uso, el tipo de datos, la necesidad de procesamiento (batch o en tiempo real), y los requisitos del negocio.

📌 Puntos clave sobre arquitecturas Big Data:

Son capaces de manejar datos distribuidos, estructurados y no estructurados.

Soportan tanto procesamiento en tiempo real como por lotes.

No requieren una única base de datos centralizada.

Cada arquitectura varía según el caso: no hay una única solución para todo.

🔬 Casos prácticos de evaluación:

🧠 Caso 1: Análisis de sentimiento en redes sociales

Objetivo: detectar en tiempo real cómo se habla de una marca en plataformas como X (ex Twitter) y Facebook.

Necesidad: procesamiento en tiempo real + visualización inmediata.

Servicios recomendados:

Pub/Sub → capturar datos en vivo.

Dataflow → procesarlos en tiempo real.

BigQuery + Looker Studio → análisis y dashboards.

💸 Caso 2: ETL para datos financieros históricos

Objetivo: consolidar transacciones pasadas para análisis y reportes regulatorios.

Necesidad: procesamiento batch + almacenamiento estructurado.

Servicios recomendados:

Storage Transfer / Dataproc → extracción y carga.

BigQuery → análisis avanzado.

Cloud Storage → respaldo de los datos originales.

⚙️ Comparativa de dos escenarios adicionales:

📡 Caso A: Sensores IoT en planta de producción

Datos de temperatura, humedad, vibración.

Requiere: procesamiento en tiempo real + alertas.

Solución:

IoT Core → Pub/Sub → Dataflow → BigQuery.

🛍️ Caso B: Análisis predictivo de transacciones comerciales

Detectar posibles fraudes en tiempo real.

Requiere: alta velocidad + precisión + seguridad.

Solución:

Pub/Sub + Dataflow + BigQuery + Vertex AI (opcional).

📚 Conclusión:

Evaluar correctamente una arquitectura implica analizar:

Tipo de datos: ¿estructurados, no estructurados?

Frecuencia: ¿tiempo real o batch?

Objetivo: ¿informes, dashboards, ML, alertas?

Recursos: costos, escalabilidad y facilidad de implementación.

GCP ofrece la flexibilidad para armar soluciones a medida, siempre y cuando se elijan bien los servicios.

Page 9

╔════════════════════════════════════════════════════════════╗

║ INFRAESTRUCTURA BIG DATA EN GCP – PASO A PASO ║

╚════════════════════════════════════════════════════════════╝

📝 NOTA IMPORTANTE:

En cada punto NO estás obligado a elegir una sola herramienta.

Podés COMBINAR opciones según el tipo de datos y el objetivo.

Ejemplo: usar tanto batch como streaming si tenés datos mixtos.

────────────────────────────────────────────────────────────

1️⃣ INGESTA DE DATOS

───────────────────────

📦 Batch (archivos estructurados como Excel, bases de datos):

→ Cloud Storage: almacena archivos.

→ Cloud Dataflow: transforma y limpia esos datos.

⚡ Real-Time (datos en vivo como redes sociales):

→ Cloud Pub/Sub: captura datos en tiempo real.

→ Cloud Dataflow: procesa y transforma al vuelo.

✅ En este caso, se recomienda usar AMBOS tipos de ingesta.

────────────────────────────────────────────────────────────

2️⃣ ALMACENAMIENTO

───────────────────────

📁 Cloud Storage:

- Guarda datos en bruto (no procesados).

📊 BigQuery:

- Para analizar datos estructurados rápidamente.

📂 Bigtable (opcional):

- Si se usan sensores o datos de alta frecuencia.

✅ Se pueden usar varios sistemas de almacenamiento juntos.

────────────────────────────────────────────────────────────

3️⃣ PROCESAMIENTO

───────────────────────

🔄 Cloud Dataflow:

- Ejecuta flujos ETL en tiempo real o por lotes.

⚙️ Cloud Dataproc:

- Corre Spark o Hadoop (opcional si necesitás más control).

✅ Elegí el que se ajuste mejor a tu proyecto. Para este caso:

→ Recomendado: Dataflow (más simple y directo en GCP).

────────────────────────────────────────────────────────────

4️⃣ ANÁLISIS Y VISUALIZACIÓN

─────────────────────────────

📈 BigQuery:

- Permite hacer consultas tipo SQL sobre grandes datos.

📊 Looker Studio:

- Dashboards interactivos para mostrar resultados.

✅ Usá ambos para análisis y visualización. Alternativas:

- Power BI o Tableau si no usás Looker.

────────────────────────────────────────────────────────────

5️⃣ GOBIERNO DE DATOS Y SEGURIDAD

────────────────────────────────────

🔐 Cifrado:

- Automático en GCP (en tránsito y en reposo).

👥 Control de acceso:

- A través de IAM (definís quién ve qué).

🕵️ Auditoría:

- Cloud Audit Logs para registrar toda la actividad.

📜 Políticas:

- Retención, uso responsable y calidad de datos.

✅ Aplicá todas las prácticas de gobierno siempre.

════════════════════════════════════════════════════════════

🎯 CONSEJO PARA PRUEBA:

Explicá tu elección de herramientas según el tipo de dato

(batch o streaming), el origen y el objetivo (informes, dashboards).

Combiná herramientas según las necesidades del proyecto.

════════════════════════════════════════════════════════════

════════════════════════════════════════════════════════════

📘 GLOSARIO – ¿Qué es Batch y Streaming?

════════════════════════════════════════════════════════════

📦 BATCH (PROCESAMIENTO POR LOTES)

────────────────────────────────────

✔ Procesa datos ya almacenados, en grandes bloques.

✔ Se ejecuta cada cierto tiempo (ej: diario, semanal).

✔ Ideal para archivos como Excel, CSV, bases históricas.

🔧 Herramientas:

- Cloud Storage: almacena archivos.

- Cloud Dataflow: procesamiento por lotes.

- Dataproc: procesamiento distribuido con Spark/Hadoop.

🔍 Ejemplos:

- Denuncias mensuales en Excel.

- Informes históricos de detenciones.

⚡ STREAMING (PROCESAMIENTO EN TIEMPO REAL)

─────────────────────────────────────────────

✔ Procesa los datos apenas llegan, en vivo.

✔ Ideal para monitorear eventos que ocurren constantemente.

✔ Útil cuando se necesita actuar rápidamente.

🔧 Herramientas:

- Cloud Pub/Sub: ingesta en tiempo real.

- Cloud Dataflow: procesamiento en streaming.

- BigQuery: análisis inmediato.

🔍 Ejemplos:

- Comentarios en redes sociales sobre comercio ilegal.

- Alertas en tiempo real de cámaras o sensores.

📌 En tu caso (municipalidad):

USÁS AMBOS. Batch para los datos internos (archivos, informes) y Streaming para datos en vivo (redes sociales).