BIG DATA

BIG DATA

1. Origen

   • Hueso Ishango, encontrando en república democrática del Congo en 1950 con muescas que se cree que servían como inventario
   • Hueso Lebombo de la década de 1970 encontrando en Suazilandia que se permitía registrar datos relevantes de la civilización
   • Censo hecho por los babilonios en 3800 que censaba cantidad de población y productos básicos para calculo de impuestos
   • En la epidemia del cólera de Broad Street, Londres, de 1854 se dio una gran recopilación de datos que John Snow cartografió la propagación del mal
   • Actualmente se toman datos sobre natalidad y mortalidad, la incidencia de diferentes enfermedades o la estadística sobre ingresos y criminalidad, algo que no no se hacia antes del siglo XIX
   • Herman Hollerith, debido al gran volumen de datos obtenidos en el Censo de Estado Unidos crea una maquina tabuladora que usa tarjetas perforadas que procesaba la información en 1 año cuando tomaba 8 años
   • En 1989 con la aparición del internet (World Wide Web) aumento las posibilidades de producir, recolectar, almacenar y analizar datos de manera electrónica
   • Su aparición está muy vinculada a la evolución de la informática, ya que se empiezan a generar grandes volúmenes de datos en diferentes áreas debido al crecimiento de almacenamiento y cálculo de los equipos

2. Implicaciones

   • Implicaciones de privacidad ya que compartes toda tu información en la sanidad como parámetros de sueño, oxigenación y demás
   • La seguridad se vuelve acuciante
   • El almacenamiento de datos estructurados en base de datos relacionales debido a su incremento presenta un limite debido a la infraestructura en la que se almacena que tiene escalabilidad vertical la cual tiene un limite
   • Datos no estructurados se almacenan con el sistema DFS Hadoop (sistema de archivos distribuido) eficaz y fiable almacenamiento en varias computadoras (Doug Cutting, Mike Cafarella)
   • Base de datos NoSQL para datos masivos

3. Principales Definiciones

   • Gran volumen de datos
   • Datos Estructurados: Aquellos que pueden categorizarse y clasificarse como aquellos que ingresamos en formularios como nombre, edad, etc...
   • Datos no Estructurados: aquellos no categorízables como fotos, videos, twits etc...
   • Datos Semiestructurados como aquellos no estructurados con alguna etiqueta que permite relacionarlos entre si

4. Motivaciones

   • Big Data hace referencia a grandes volúmenes de datos que provienen de la red, por correo electrónico, páginas de internet y redes sociales, donde alrededor del 80% son datos no estructurados que hace difícil su análisis por métodos estadísticos de datos estructurados, por lo que se requieren nuevas técnicas algoritmos para sacar al útil de ellos
   • "Los datos son el nuevo petroleo"(Clive Humby, 2006) pero requieren ser procesados para tener gran valor
   • Por medio de su análisis permite la toma de decisiones o aplicación de controles mas acertadas