BIG DATA ANALYTICS

BIG DATA ANALYTICS

1. DEFINICIÓN

   • Almacenamiento y análisis de conjuntos de datos grande o complejos
     • mediante
       • una serie de técnicas
         • NoSQL
         • Map Reduce
         • aprendizaje automático
   • recopilación, limpieza y anonimización de grandes cantidades de datos de diversa variedad relevantes
     • para
       • resolver problemas de la vida real y analizarlos para iniciar acciones significativas

2. LAS 5 V´s DEL BIG DATA

   • Volúmen
     • tamaño y cantidad de datos procesados
   • Variedad
     • tipos de datos: texto, números, audio, video e imagen
   • Velocidad
     • datos transitorios,procesados en tiempo real, se vuelven irrelevantes rápidamente
   • Veracidad
     • datos reales no ruidosos, dífícil asegurar la veracidad de todos los datos
   • Valor
     • Los datos por sí mismos no tienen valor, sólo si se procesan para obtener información para tomar acciones

3. USOS

   • predecir si un boleto de tren disponible, será confirmado
   • éxito en coincidencias de hombres y mujeres en sitios de citas
   • Introducir un nuevo tipo de producto
   • desarrollo de juegos digitales
   • Transporte y logística
   • elecciones
   • control y facturación de consumo de servicios
   • Industria de aviación

4. TIPOS DE ANALISIS DE DATOS

   • Descriptivo
     • Representa en forma gráfica y comprensible, eventos ocurridos en el pasado, mediante un tablero de control
   • Predictivo
     • extrapola datos disponibles y determina lo que se espera que suceda en el futuro cercano
   • exploratorio o de descubrimiento
     • Encuentra relaciones inesperadas entre parámetros dentro de grandes colecciones de datos
   • Prescriptivo
     • Identifica oportunidades para optimizar soluciones a problemas existentes

5. SISTEMA HANDOOP

   • conformado por
     • sistema de archivos distribuido Handoop (HDFS)
       • almacena archivos
         • altamente tolerante a fallas diseñado para conjuntos de datos muy grandes que se implementarán en grandes grupos de computadoras de bajo costo
     • Map Reduce
       • procesa en paralelo los datos almacenados
         • los datos a procesar se dividen en varios conjuntos que se distribuyen a computadoras individuales en un gran grupo de computadoras
   • es
     • software de código abierto, escrito en lenguaje de programación alto Java, su descarga en internet es gratuita
       • funciona en modo maestro-esclavo, se ejecuta en un "nodo nombre"

6. RIESGOS

   • Es peligroso confiar implícitamente en el resultados obtenidos de análisis de big data.
     • evitar considerar que los datos recopilados incluyen todos los conjuntos de datos
   • pérdida de privacidad
   • se requiere regulación sobre privacidad y protección de datos públicos para el análisis
   • se debe hacer uso responsable.
   • hacer un muestreo adecuado