FUNDAMENTOS DE BIG DATA

FUNDAMENTOS DE BIG DATA

1. Big Data es un campo orientado al análisis, procesamiento y almacenamiento de grandes colecciones de datos que, con frecuencia, provienen de distintas fuentes.

   • Por medio de las soluciones de Big Data se pueden realizar tareas complejas de análisis, con el fin de obtener resultados de análisis profundamente significativos e intuitivos para el beneficio de la empresa.
   • Generación de datos
     • HUMANOS
     • MÁQUINAS

2. TERMINOLOGÍA Y CONCEPTOS FUNDAMENTALES

   • DATASETS
     • Son los conjuntos o grupos de datos relacionados se les conoce comúnmente como datasets.
   • ANÁLISIS DE DATOS (DATA ANALYSIS)
     • Es el proceso de examinación de los datos con el fin de hallar hechos, relaciones, patrones, explicaciones y/o tendencias con el objetivo de respaldar la toma de decisiones.
   • ANALÍTICA
     • Es la disciplina encargada comprender los datos, analizándolos mediante una variedad de técnicas científicas y herramientas automatizadas, enfocada en el descubrimiento de patrones y correlaciones ocultos. Utilizada en tres sectores:
       • Entornos orientados al negocio
       • Ámbito científico
       • Entornos basados en servicios
   • INTELIGENCIA DE NEGOCIOS (BI)
     • Es el proceso de comprender el funcionamiento de una empresa para mejorar la toma de decisiones al analizar los datos externos y los datos generados por sus procesos empresariales.
   • INDICADORES CLAVES DE DESEMPEÑO (KPI)
     • Es una forma de medir el éxito dentro de un contexto particular. Los KPI están estrechamente relacionados con los objetivos estratégicos de una empresa y generalmente son utilizados para identificar áreas problemáticas y lograr el cumplimiento normativo
   • UNIDADES DE TAMAÑO DE LOS DATOS

3. FACTORES EMPRESARIALES Y TECNOLÓGICOS

   • ANALÍTICA Y CIENCIA DE DATOS
     • La madurez de estos campos prácticos inspiró y posibilitó gran parte de la funcionalidad esencial que se espera de las soluciones y herramientas de Big Data hoy en día.
   • DIGITALIZACIÓN
     • Los medios digitales han reemplazado los medios físicos como las comunicaciones y el mecanismo estándar de entrega. Los datos digitalizados brindan la oportunidad de recopilar datos “secundarios” adicionales
   • TECNOLOGÍA ASEQUIBLE Y HADWARE BÁSICO
     • La tecnología relacionada con la recopilación y el procesamiento de grandes cantidades de diversos datos es cada vez más asequible. Las soluciones típicas de Big Data están basadas en software de código abierto que requiere hardware básico.
   • SOCIAL MEDIA
     • El surgimiento de social media ha permitido que los clientes suministren retroalimentación en tiempo (prácticamente) real a través de medios públicos y privados, por consiguiente, as empresas almacenan cada vez más datos sobre las interacciones de los clientes y a través de social media
   • COMUNIDADES Y DISPOSITIVOS HIPERCONECTADOS
     • Que las personas estén activas de forma constante en las comunidades virtuales, ya sea directamente por medio de la interacción online, o indirectamente a través del uso de dispositivos conectados. Esto ha traído como resultado flujos masivos de datos.
   • CLOUD COMPUTING
     • Creación de entornos remotos, a los que se les conoce como “nubes.” Estos entornos proporcionan alta escalabilidad y recursos de TI por demanda que pueden ser arrendados bajo los modelos de “pago por uso”.

4. TECNOLOGÍAS EMPRESARIALES TRADICIONALES

   • PROCESAMIENTO DE TRANSACIONES EN LÍNEA (OLTP)
     • Es un sistema de software que procesa los datos orientados a las transacciones. El término “transacción online” se refiere a la finalización de una actividad en tiempo real y no mediante el procesamiento por lotes (Batch Processing).
   • PREOCESAMIENTO ANALÍTICO EN LINEA (OLAP)
     • Es un sistema utilizado para el procesamiento de consultas de análisis de datos (Data Analysis). Son utilizados en las analíticas diagnóstica, predictiva y prescriptiva, Los sistemas de OLAP almacenan datos históricos que son agregados y desnormalizados para ofrecer una capacidad rápida de reportes. Asimismo, estos sistemas utilizan las bases de datos que almacenan los datos históricos en arrays multidimensionales, y pueden solucionar consultas complejas con base en múltiples dimensiones de los datos.
   • EXTRAER - TRANSFORMAR - CARGAR (ETL)
     • Es un proceso mediante el cual los datos son cargados desde un sistema origen hacia un sistema destino.Donde primero los datos requeridos son obtenidos o extraídos del origen, luego son modificados o transformados mediante la aplicación de reglas. Por último, los datos son insertados o cargados al sistema destino.
   • BODEGAS DE DATOS DIGITALES (DATA WAREHOUSE)
     • Es un repositorio central a nivel empresarial que contiene datos históricos y actuales. Los datos relacionados con distintas entidades empresariales y que provienen de diferentes sistemas operacionales son extraídos, validados, transformados y consolidados periódicamente en una sola base de datos.
   • DATA MARTS
     • Es un subconjunto de datos almacenados en una bodega de datos digital (Data Warehouse) que, por lo general, pertenece a un departamento, división o línea de negocio específica. Las bodegas de datos digitales (Data Warehouse) pueden tener múltiples data marts.
   • HADOOP
     • Es un framework de código abierto para el almacenamiento y procesamiento de datos a gran escala que técnicamente es ejecutado en hardware básico. El framework de Hadoop se ha establecido como la plataforma predeterminada de la industria para las soluciones modernas de Big Data.

5. LAS CINCO "V" DE BIG DATA

   • VOLUMEN
     • Un gran volumen de datos implica demandas específicas de almacenamiento y procesamiento, al igual que procesos de gestión y acceso.
   • VELOCIDAD
     • Los datos de Big Data son recibidos con tal velocidad que se pueden acumular enormes datasets en periodos de tiempo cortos. Desde el punto de vista empresarial, la velocidad de los datos se traduce en la cantidad de tiempo necesaria para que los datos sean procesados una vez que llegan a la empresa.
   • VARIEDAD
     • Se refiere a los múltiples formatos y tipos de datos que deben ser compatibles con las soluciones de Big Data. La variedad de datos presenta desafíos para las empresas en términos de integración, transformación, procesamiento y almacenamiento de los datos.
   • VERACIDAD
     • Se refiere a la calidad o fidelidad de los datos. Dentro de los entornos Big Data, existen datos que pueden ser significativos o que simplemente ocupan espacio. Cuando se evalúan en función de su veracidad, los datos pueden ser de dos tipos: Ruido; datos que no tienen valor alguno O Señal; datos que tienen valor que conduce a información importante
   • VALOR
     • Se define como la utilidad que los datos tienen para una empresa. La característica de valor está directamente relacionada con la característica de veracidad, en la medida en que, entre más alta sea la fidelidad de los datos, mayor será el valor de los mismos para la empresa.

6. TIPOS DE DATOS

   • DATOS ESTRUCTURADOS
     • Cumplen un modelo de datos, almacenados de forma tabular y pueden ser relacionales
   • DATOS SIN ESTRUCTURAR
     • No cumplen un modelo de datos y generalmente no son consistentes ni relacioales
   • DATOS SEMIESTRUCTURADOS
     • Tienen un nivel definido de estructura y consistencia, pero no son relacionales. En su mayoría se encuentran en formatos textuales, como archivos XML o JSON, y generalmente, su procesamiento es más sencillo que el de los datos sin estructurar.
   • METADATA
     • Proporcionan información sobre las características y la estructura de un dataset. En su mayoría, este tipo de datos son generados por máquinas y anexados automáticamente a los datos. Son esenciales para el procesamiento, almacenamiento y análisis de Big Data.

7. TIPOS DE ANÁLISIS DE DATOS

   • ANÁLISIS CUANTITATIVO
     • Orientada a cuantificar patrones y correlaciones hallados en los datos. Esta técnica implica el análisis de un gran número de observaciones de un dataset con base en técnicas estadísticas. Debido al amplio tamaño de la muestra, los resultados pueden aplicarse de manera general a todo el dataset.
   • ANÁLISIS CUALITATIVO
     • Orientada a describir cualidades de varios datos por medio de palabras. En contraste con el análisis de datos (Data Analysis) cuantitativo, esto implica analizar una pequeña muestra con mayor profundidad.
   • MINERÍA DE DATOS (DATA MINING)
     • Se refiere a técnicas automáticas basadas en software que filtran los datasets masivos para identificar patrones y tendencias. Específicamente, implica extraer patrones ocultos o desconocidos en los datos con la intención de identificar patrones antes desconocidos.

8. TIPOS DE ANALÍTICA

   • ANALÍTICA DESCRIPTIVA
     • Se ejecuta para responder preguntas sobre eventos que ocurrieron.
   • ANALÍTICA DIAGNÓSTICA
     • Tiene como objetivo determinar la causa de un fenómeno que ocurrió en el pasado, usando preguntas que se enfocan en la razón del evento.
   • ANALÍTICA PREDICTIVA
     • Se ejecuta en un intento por determinar el resultado de un evento que podría ocurrir en el futuro. Es decir, intenta predecir el resultado de un evento. Las predicciones se hacen con base en patrones, tendencias y excepciones encontradas en datos históricos y actuales. Este análisis permite identificar riesgos y oportunidades.
   • ANALÍTICA PRESCRIPTIVA
     • Está basada en los resultados de la analítica predictiva, al indicar acciones que se deberían realizar. Esta analítica se enfoca en qué opción indicada se debe seguir y en por qué y cuándo se debería seguir, con el fin de obtener una ventaja o mitigar un riesgo.

9. APRENDIZAJE AUTOMÁTICO (MACHINE LEARNING)

   • Es el proceso de enseñar a las computadoras a aprender a partir de datos existentes y a aplicar el conocimiento adquirido para formular predicciones sobre datos desconocidos. Esto implica identificar patrones en los datos de entrenamiento y clasificar datos nuevos y no mostrados con base en patrones conocidos.
     • APRENDIZAJE SUPERVISADO
     • APRENDIZAJE NO SUPERVISADO

10. INTELIGENCIA DE NEGOCIOS (BI) Y BIG DATA

    • TRADICIONAL
      • La Inteligencia de negocios (BI) tradicional usa la analítica descriptiva y diagnóstica para proporcionar información sobre eventos históricos y actuales. No es realmente “inteligente” porque únicamente proporciona respuestas a preguntas formuladas correctamente.
        • REPORTES ESPECIALIZADOS
        • YABLEROS DE CONTROL (DASHBOARD)
    • BIG DATA
      • Está basada en la Inteligencia de negocios (BI) tradicional ejecutando acciones sobre los datos limpiados y consolidados de toda la empresa en la bodega de datos digital (Data Warehouse) y combinándolos con fuentes de datos semiestructurados y sin estructurar. Comprende tanto la analítica predictiva como la prescriptiva para facilitar la comprensión, a nivel empresarial, de la forma en que funciona un negocio.

11. VISUALIZACIÓN DE DATOS

    • Es una técnica a través de la cual los resultados de analítica son comunicados gráficamente utilizando gráficos, mapas, grilla de datos, infografías y alertas. Los datos representados gráficamente pueden facilitar el entendimiento de los reportes, la visualización de tendencias y la identificación de patrones.
      • CARACTERÍSTICAS
        • Agregación: proporcionan una vista holística y resumida de los datos a través de múltiples contextos
        • Drill-Down: proporcionan una vista detallada de los datos de interés al enfocarse en un subgrupo de datos de la vista resumida
        • Filtrado (filtering): se enfocan en un conjunto particular de datos al filtrar los datos que no son de interés inmediato
        • Roll-Up: agrupan datos en todas las múltiples categorías, para mostrar totales y subtotales
        • Análisis “qué-tal-si”: facilitan la visualización de múltiples resultados al permitir el cambio dinámico de factores relacionados

12. ELEMENTOS A TENER EN CUENTA

    • Justificación empresarial
    • Prerrequisitos organizacionales
    • Aprovisionamiento de datos
    • Privacidad
    • Seguridad
    • Procedencia
    • Soporte limitado en tiempo real
    • Diferentes problemas de rendimiento
    • Diferentes requisitos de gestión
    • Metodología diferencial
    • Cloud Computing

Images and files in the map