Introducción a Big Data

Introducción a Big Data

1. Origen de Big Data

   • Análisis de un gran volumen de conjuntos de datos
   • Big Data se emplea de forma generalizada desde finales de los años 90
   • Los avances experimentados en campos como internet, dispositivos móviles y conexión.
   • Para este año, se prevé que nuestra civilización haya generado 40 zettabytes de información.

2. Conceptos de Big Data

   • Tecnologías Big Data.
     • La mayoría de las soluciones que hay se basan en software libre.
       • Las más conocidas son Cloudera y HortonWork, pero hay otras en el mercado, y es interesante conocer sus diferencias.
   • Real Time o Fast Data
     • Tener los datos en Real Time, Near Real Time, streaming, batch
       • Hay que especificar qué información es crítica para tener al milisegundo, segundo, minutos, días
   • Bases de datos NoSQL
     • Nos referimos a una amplia clase de sistemas de gestión de datos
   • Modelación
     • Big Data están preparadas para tratar grandes volúmenes de información, con una gran variedad, y a una gran velocidad.
   • Cloud computing
     • cloud computing procesa grandes volúmenes de información y con gran rendimiento sin necesidad de tener hardware en la empresa, sino alquilando software en la nube.
   • Data Analytics
     • El proceso de examinar series de datos con el objetivo de sacar conclusiones sobre la información que contienen.

3. Tipos de Datos

   • datos no estructurados
     • Los datos no estructurados se caracterizan por no tener un formato específico.
     • Se almacenan en múltiples formatos como documentos PDF o Word, correos electrónicos, ficheros multimedia de imagen, audio o video
   • datos semi-estructurados
     • presentan una organización definida en sus metadatos donde describen los objetos y sus relaciones
     • Los formatos HTML, XML o JSON
   • estructurados
     • Los datos estructurados tienen perfectamente definido la longitud, el formato y el tamaño de sus datos.
     • Se almacenan en formato tabla, hojas de cálculo o en bases de datos relacionales

4. Características

   • Volumen
     • El volumen se refiere a la cantidad de datos que son generados cada segundo, minuto y días en nuestro entorno
   • Velocidad
     • La velocidad se refiere a los datos en movimiento por las constantes interconexiones que realizamos
   • Variedad de los datos
     • La variedad se refiere a las formas, tipos y fuentes en las que se registran los datos
   • Veracidad de los datos
     • Nos referimos a la incertidumbre de los datos, es decir, al grado de fiabilidad de la información recibida.
   • Viabilidad
     • Se trata de la capacidad que tienen las compañías en generar un uso eficaz del gran volumen de datos que manejan.
   • Visualización de los datos
     • Una vez que los datos son procesados, necesitamos representarlos visualmente de manera que sean legibles y accesibles, para encontrar patrones y claves ocultas en el tema a investigar.
   • Valor de los datos
     • El valor de los datos está en que sean accionables, es decir, que los responsable de la empresas puedan tomar una decisión en base a estos datos.

5. Utilidades y retos actuales

   • Telecomunicaciones
     • La oportunidad más evidente es extraer información de la experiencia del usuario gracias al tráfico de voz y datos
   • Bancos
     • Poner medios para luchar contra el fraude, los delitos financieros y las brechas de seguridad, mediante Big Data.
   • Deportes
     • Empezaron a usar el análisis de grandes volúmenes de datos para mejorar el rendimiento de sus jugadores
   • Transportes públicos
     • Minimizan los tiempos de espera, o semáforos que ante la previsión de un aumento del tráfico se regulan para minimizar los atascos.

Imágenes y archivos del mapa