El Big Data en nuestros días

El Big Data en nuestros días

1. concepto

   • Colección de datos grande, complejos, muy difícil de procesar a través de herramientas de gestión y procesamiento de datos tradicionales
   • Datos cuyo volumen, diversidad y complejidad requieren nueva arquitectura, técnicas, algoritmos y análisis para gestionar y extraer valor y conocimiento oculto en ellos
   • Es la próxima generación de almacenamiento de datos y análisis de negocios y está preparado para ofrecer resultados de primera línea ingresos rentables para las empresas
   • Supera el alcance de los de uso común entornos de hardware y herramientas de software para capturar, gestionarlo y procesarlo en un tiempo tolerable para su población de usuarios
   • Disciplina que se ocupa de todas las actividades relacionadas con los sistemas que manejan grandes conjuntos de datos, principalmente, almacenamiento, búsqueda, compartición, análisis y visualización
   • Cualquier característica sobre los datos que represente un reto para las capacidades de un sistema

2. ventajas

   • Impacto económico
     • La demanda de profesionales formados en Ciencia de Datos y Big Data es enorme
     • Se estima que la conversión de datos en información útil generará un mercado de 132.000 millones de dólares en 2015 y que se crearán más de 4.4 millones de empleos
     • España necesitará para 2015 más de 60.000 profesionales con formación en Ciencia de Datos y Big Data
   • Cuidando la Salud
     • Las organizaciones de salud han coleccionado en los últimos años exabytes de información
     • Big data puede faciliar acciones para modificar los factores de riesgo que contribuyen a un porcentaje grande de las enfermedades crónicas, tales como actividad física, dieta, tabaco, exposición a la polución
   • Banca: Análisis de datos
     • Identificación de personas con las compras de tarjetas de crédito

3. usos

   • Asociaciones en transacciones de tarjetas de crédito
     • 65.000 millones transacciones 1.500 M titulares
   • Asociaciones en datos de salud
     • Expedientes médicos varias años Para reducir la tasa de reingresos
   • Sistemas de recomendación
   • Para el bien social
   • Para la política

4. aplicaciones

   • Hadoop
     • Implementación de código abierto del paradigma de programación MapReduce
     • Consta de dos servicios principales: o Almacenamiento: HDFS. o Procesamiento: MapReduce
     • Aporta una serie de ventajas: o Bajo coste: clústeres baratos / cloud. o Facilidad de uso. o Tolerancia a fallos.
     • Ecosistema: Mesos, Kafka, SparkR, MLLib, Shark, Ambari, Avro, Cassandra, Chukwa, Hbase, Hive, Mahout, Pig, Tez, ZooKeeper
   • Spark
     • Entorno de trabajo (gestión de ejecución, API)
     • Desarrollado en Scala. Interfaces en Scala, Java, Python
     • Genérico y rápido (hasta 100 veces más que Hadoop)
     • Para procesamiento de datos masivos Centrado en una estructura de datos distribuida denominada “Resilient Distributed Dataset” (RDD)
     • Permite realizar trabajos paralelizados totalmente en memoria: Reducción de tiempos Procesos iterativos
     • Permite la flujos acíclicos de procesamiento de datos
   • Cloud Computing
     • Modelo de prestación de servicios de negocio y tecnología
     • Permite al usuario acceder a un catálogo de servicios estandarizado y responder a las necesidades del negocio
     • De forma flexible y adaptativa, pagando únicamente por el consumo efectuado
     • El usuario tiene la ilusión de estar utilizando un ordenador virtual con recursos ilimitados
   • El procesar la información asociada a conjuntos de datos cuyo tamaño es del orden de 10 TB plantea utilizar sistemas distribuidos en nodos en lugar de sistemas con un único nodo.
   • Sistema de ficheros de Google (GFS) como un sistema de ficheros distribuido y escalable para aplicaciones intensivas en datos
   • MapReduce
     • Basado en la estructura clave,valor
     • Función Map: Procesa bloques de información
     • Función Reduce: Fusiona los resultados previous de acuerdo a su clave
     • Paralelización automática
     • Escalabilidad:
     • Transparencia programación
     • Oculta la complejidad de la distribución y tolerancia a fallos
     • No es adecuado para todos los problemas, pero cuando funciona, puede ahorrar mucho tiempo

5. limitantes

   • Iterative Graph Algorithms: PageRank
   • Gradient Descent
   • Expectation Maximization

6. 8 v's

   • Volumen
   • Volatilidad
   • Variedad
   • Valor
   • Velocidad
   • Variabilidad
   • Veracidad
   • Validez

7. Cuestiones legales y éticas

   • Ley Orgánica de Protección de Datos (LOPD)
   • Poner a prueba el nivel ético de los distintos usuarios de estos datos ya sean gobiernos, organizaciones o empresas
   • Cuestiones éticas
     • Privacidad
     • Transparencia
     • Pérdida de identidad
     • Discriminación y castigo anticipado
     • Peligro de exclusión

8. Generadores de datos masivos

   • Redes sociales y multimedia
   • Transacciones
   • Dispositivos úbicuos de generación de contenido
   • Redes de sensores

9. Smart City

   • Capturar y gestionar datos
     • Acceder y explotar fuentes de datos
     • Procesar distintos tipos de datos: sensorización, aplicaciones, redes sociales, video, etc.
     • Mejorar la interoperabilidad entre los sistemas existentes
     • Gestionar los aspectos de seguridad y privacidad de datos
   • Convertir datos en Conocimiento e Inteligencia procesable
     • Mejorar el conocimiento de la situación
     • Proporcionar visión operacional común y unificada
     • Proporcionar información relevante en tiempo real a los diferentes niveles de gestión y operación
     • Utilizar las capacidades analíticas para determinar patrones y tendencias y poder prevenir incidencias y situaciones de emergencia
   • Mejorar respuestas y actuaciones
     • Una alternativa a solo notificar a los sistemas para enviar recursos al lugar de la incidencia
       • Colaboración en tiempo real
       • Protocolos de actuación
       • Incrementar la prevención
       • Despliegue recursos necesarios
       • Incrementar la velocidad de respuesta
       • Reducir ineficiencias
       • Mejorar la transparencia y la involucración de ciudadanos