¿Qué es Big Data?

¿Qué es Big Data?

1. Tipos de datos de big data

   • Web and Social Media:
     • Incluye contenido web e información que es obtenida de las redes sociales como Facebook, Twitter, LinkedIn, etc, blogs.
   • Machine-to-Machine (M2M):
     • M2M se refiere a las tecnologías que permiten conectarse a otros dispositivos. M2M utiliza dispositivos como sensores o medidores que capturan algún evento en particular (velocidad, temperatura, presión, variables meteorológicas, variables químicas como la salinidad, etc.) los cuales transmiten a través de redes alámbricas, inalámbricas o híbridas a otras aplicaciones que traducen estos eventos en información significativa.
   • Big Transaction Data:
     • ncluye registros de facturación, en telecomunicaciones registros detallados de las llamadas (CDR), etc. Estos datos transaccionales están disponibles en formatos tanto semiestructurados como no estructurados.
   • Biometrics:
     • nformación biométrica en la que se incluye huellas digitales, escaneo de la retina, reconocimiento facial, genética, etc. En el área de seguridad e inteligencia, los datos biométricos han sido información importante para las agencias de investigación.
   • Human Generated
     • Las personas generamos diversas cantidades de datos como la información que guarda un call center al establecer una llamada telefónica, notas de voz, correos electrónicos, documentos electrónicos, estudios médicos, etc.

2. Técnicas de análisis utilizadas en big data

   • Test A/B
     • Comparamos un grupo de control con una variedad de grupos de test para determinar qué cambios o tratamientos producirán una mejora dada una variable objetiva
       • El big data nos permite ejecutar y analizar una gran cantidad de pruebas, siempre asegurando que los grupos son de un tamaño suficiente para detectar diferencias estadísticamente significativas entre el grupo de control y los grupos de pruebas.
       • Cuando manipulamos más de una variable en el experimento simultáneamente, la generalización multivariante de esta técnica, que se aplica a modelos estadísticos, se le llama A/B/N testing.
   • Reglas de asociación
     • Las reglas de asociación son un conjunto de técnicas que permiten descubrir relaciones interesantes
       • En minería de datos y aprendizaje automático, las reglas de asociación se utilizan para descubrir hechos que ocurren en común dentro de un determinado conjunto de datos
       • Estas técnicas consisten en aplicar una variedad de algoritmos para generar y testear las pautas posibles
       • pañales y cerveza
   • Clasificación
     • Un conjunto de técnicas para identificar las categorías a las que pertenecen los puntos de datos basado en un conjunto de pruebas que ya contenga los puntos de datos categorizados
       • aprendizaje supervisado
       • Una aplicación de esta técnica es la predicción de comportamiento de un grupo de clientes segmentado. Si tenemos una hipótesis o Módulo 1 Introducción a la analítica avanzada y Big data 3 un objetivo determinado claro podemos analizar el comportamiento del conjunto de clientes clasificados por decisiones de compra, ratio de churn, ratio de abandono, tasa de consumo o cualquier otra variable que pueda ser analizada
   • Análisis clúster (o de conglomerados)
     • clasificar objetos separando un grupo diverso en grupos más pequeños de objetos similares, cuyas características de similitud son conocidas previamente
       • segmentar a los consumidores en grupos similares para realizar acciones de marketing segmentadas.
   • Crowdsourcing
     • técnica de recogida de datos facilitada por una comunidad o gran conjunto de gente conectada en torno a la red que llevan a cabo una tarea conjunta.
   • Fusión e integración de datos
     • permiten integrar y analizar datos de múltiples fuentes con el objeto de realizar descubrimientos entre la información de manera más eficiente y potencialmente más precisa que si fueran analizados utilizando una sola fuente de datos
       • plicación combinada de diversos sensores de datos de dispositivos conectados en la llamada Internet de las cosas,
   • Data minig
     • Consiste en extraer patrones de grandes datasets mediante la combinación de métodos estadísticos y de aprendizaje automático con la gestión de las bases de datos. Entre las técnicas de datamining se incluyen técnicas de aprendizaje de reglas de asociación, análisis de agrupamiento, clasificación y regresión
   • Aprendizaje mediante ensembles (ensemble learning)
     • múltiples modelos predictivos, ya hayan sido desarrollados mediante estadística o aprendizaje automático, para obtener mejores predicciones de rendimiento que puedan ser obtenidos de cualquiera de los modelos constitutivos. Son un tipo de aprendizaje supervisado.
   • Algoritmos genéticos
     • ptimizar datos inspirada en el proceso de la evolución natural o supervivencia de los mejor adaptados. Con esta técnica las soluciones posibles son codificadas como si fueran cromosomas que pueden combinarse y mutar. Estos cromosomas son seleccionados y separados para sobrevivir dentro de un ecosistema modelado que determina la adaptabilidad o el rendimiento de cada uno dentro del conjunto. Estos algoritmos evolutivos funcionan bien para solucionar problemas no lineales, c
       • mejorar la planificación de tareas en la industria manufacturera, o la optimización del rendimiento de una cartera de inversión.
   • Aprendizaje automático
     • Una especialidad dentro de la ciencia computacional también conocida como inteligencia artificial, que se ocupa del diseño y desarrollo de algoritmos por los cuales se permite a los ordenadores pueden hacer evolucionar comportamientos basados en datos empíricos. Uno de los objetivos principales de esta técnica es aprender de forma autónoma a reconocer patrones complejos y tomar las decisiones basándose en los datos
       • procesamiento de lenguaje natural, como Siri o Google Now, que ya llevan nuestros smartphones.
   • Redes neuronales
     • Las redes neuronales son apropiadas para buscar patrones no lineales y optimización
       • identificación de los clientes de alto valor que están en riesgo de cambiar de proveedor, o la identificación de partes de seguro fraudulentos.
       • l desafío con estas redes es comprender exactamente qué proceso ocurre en cada capa: "Por ejemplo, la primera capa puede buscar por los bordes o esquinas de los elementos de la fotografía. Las capas intermedias interpretan las características básicas para buscar formas o componentes, como una puerta o una hoja. Y las últimas capas arman ésto en una interpretación completa, las que se activan en respuesta a cosas complejas como edificios o árboles". Pero los resultados pueden ser impredecibles:
   • Análisis de redes
     • para caracterizar relaciones entre nodos separados en un gráfico o red. Al analizar las conexiones entre individuos de una comunidad en las Módulo 1 Introducción a la analítica avanzada y Big data 7 redes sociales podemos extraer cómo fluye la información o quién ejerce la mayor influencia y sobre quiéne
       • la identificación de los líderes de opinión para realizar una acción de marketing precisa, o identificar los cuellos de botella en los flujos de información de las compañías.
   • Análisis de sentimiento
     • El modelado del comportamiento de sistemas complejos se utiliza para previsión, predicciones y planificación de escenarios futuros.
       • El método Monte Carlo, por ejemplo, consiste en una serie de algoritmos basados en la repetición de sampleados aleatorios, permitiendo ejecutar miles de simulaciones, cada una con supuestos diferentes. Se obtiene así una muestra del histograma con la distribución probabilística de los resultados. Se aplica mucho en el sector financiero, por ejemplo, para realizar una evaluación de las opciones de llegar a objetivos de resultados dada la incertidumbre sobre el éxito de las iniciativas aprobadas.
   • Análisis espacial
     • Son una serie de técnicas, sobre todo estadísticas, que permiten analizar las propiedades topológicas, geométricas o geográficas codificadas dentro de un conjunto de datos. A menudo estos datos de ubicación son capturados gracias a un GIS
   • Simulación
   • Análisis de series temporales
     • Técnicas para analizar secuencias de puntos de datos, que representan valores en el tiempo con el objetivo de extraer de los datos características interesantes y con sentido
       • Ejemplos serían las cotizaciones bursátiles de las acciones en cada franja horaria, o el número de pacientes diagnosticados con una enfermedad cada día. Se emplea la previsión de series temporales para predecir futuros valores basándonos en valores pasados conocidos de la misma serie o de otras similares