BIG DATA

BIG DATA

1. Tecnologías e infraestructuras de almacenamiento escalable de datos

   • Generación masiva de datos
     • Gran cantidad de datos generados a una velocidad vertiginosa
     • surgen maquinarias y sistemas de procesamiento de datos
     • el mayor % de los datos se generan en internet y RRSS, son no estructurados
     • objetivos:
       • recopilar información
       • captar datos no estructurados y organizarlos
       • extraer conocimiento
   • Conceptos necesarios
     • Sistemas distribuidos
       • sistema complejo
       • conjunto de máquinas independientes
       • actuando como un único equipo.
     • MapReduce
       • resuelve problemas muy complejos
       • dividir y vencer: pequeños problemas para dar pequeñas soluciones
     • Teorema CAP
       • Consistencia
         • en cada acceso a un dato, este debe ser igual
       • Accesibilidad
         • el sistema tiene que responder y no puede dejar de funcionar
       • Tolerancia de la partición
         • no importa el número de máquinas, si existen perdidas elsistema debe funcionar
     • Los datos y su tipología
       • los datos provienen de fuentes muy diversas
         • estructurado, no estructurado o semiestructurado.
   • ‘Data lake
     • permite almacenar y obtener el dato en cualquier estructura organizativa
       • utiliza una arquitectura plana para almacenar los datos

2. Herramientas prácticas de análisis y adquisición de datos en tiempo real

   • Ecosistema Hadoop
     • aplicación fundamental de big data
     • imprescindible para el análisis de datos en tiempo real.
     • permite acceder datos de manera distribuida y procesarlos
   • sistema HDFS
     • divide un fichero enorme de datos en pequeños fragmentos,
       • distribuidos entre las distintas máquinas de un sistema distribuido.
   • Estructura big data en un ecosistema Hadoop
     • Es necesario
       • ingestadores de datos, tanto en streaming como en batch
       • un orquestador que sepa del estado de las máquinas y su capacidad de reacción -proceso
       • mecanismos para poder acceder a los datos
       • un cuidador que controle todas las aplicaciones de la plataforma
   • Tipos de distribuciones
     • Existen infinidad de distribuciones, de fuente abierta,
       • Hortonworks
       • de pago: MapR
       • la más descargada estándar Hadoop
       • la más usada es Cloudera
   • Componentes de las soluciones big data
     • Pig
     • Hive
     • HBase
     • Zookeeper
   • herramientas de adquisición de datos en tiempo real
     • procesar grandes volúmenes de datos
       • en pequeños fragmentos y en tiempo real.
       • procesar una gran cantidad de datos por lotes
       • herramientas
         • Elasticsearch
         • Python
         • Apache Spark
         • Apache Storm
         • Lenguaje R
   • Soluciones en la nube: Iaas, Paas y Saas
     • Existen tres tipos de soluciones cloud que se pueden implementar
       • Iaas (Infraestructure as a service)
         • el almacenamiento, las máquinas virtuales o las redes se externalizan
       • Paas (Platform as a service)
         • incluido en el Iaas, externaliza el mantenimiento de los sistemas operativos y otros servicios que permiten ejecutar aplicaciones
       • Saas (Software as a service
         • ofrecen la infraestructura, la aplicación es un servicio propio que permite olvidarse de su desarrollo y mantenimiento