Big Data

Big Data

1. Estado del arte de Big Data

   • Cantidades masivas de datos que se acumulan con el tiempo que son difíciles de analizar y manejar utilizando herramientas comunes de gestión de bases de datos.
     • Estado actual de Big Data
       • Una encuesta realizada por LogLogic encuentra que el 49% de las organizaciones están algo o muy preocupados por la gestión de Big Data, pero que el 38% no entiende lo que es, y el 27% dice que tiene una comprensión parcial [10]; además, la encuesta encontró que 59% de las organizaciones carecen de las herramientas necesarias.
     • Dimensiones de Big Data
       • Volumen
         • Las empresas registran un aumento significativo de sus datos (terabytes, petabytes y exabytes), creados por personas y máquinas.
       • Variedad
         • Datos estructurados y no estructurados; estos últimos son los que se generan desde páginas web, archivos de búsquedas, etc.
       • Velocidad
         • Velocidad con que se crean los datos, que es la medida en que aumentan los productos de desarrollos de software.
     • Análisis de Big Data
       • Analiza los datos provienen de gran variedad de fuentes, tales como la Web, bases de datos, rastros de clics, redes sociales, Call Center, datos geoespaciales, datos semiestructurados (XML, RSS).

2. Tecnologías de big data

   • Para el manejo de datos es necesario tener dos componentes básicos, tanto el hardware como el software.
     • Apache Hadoop
       • Marco de software de código abierto para aplicaciones intensivas de datos distribuidos originalmente. Permite el procesamiento distribuido de grandes conjuntos de datos a través de grupos de ordenadores que utilizan modelos sencillos de programación. Está compuesto por dos módulos.
         • Hadoop Distributed File System
           • Sistema de archivos altamente tolerante a fallos, escalable y con una arquitectura distribuida; puede llegar a almacenar 100 TB en un solo archivo.
         • Hadoop MapReduce
           • Es un sistema basado en hilados para el procesamiento paralelo de grandes conjuntos de datos. Fue creado con el fin de hacer aplicaciones que puedan procesar grandes cantidades de datos de forma paralela.

3. Bases de datos NoSQL

   • DynamoDB
     • Guarda muy fácil y económicamente cualquier cantidad de información.
   • Cassandra
     • Almacena los datos en forma de clavevalor.
   • Voldemort
     • Los datos los almacena en forma de clave-valor.
   • Google BigTable
     • El sistema divide la información en columnas, y para almacenarla utiliza tablas multidimensionales compuestas por celdas.
       • Maneja dos servidores diferentes: uno llamado Master, que se encarga de guardar la dirección donde se alojan los archivos, y otro llamado Chunk Server, que es donde almacena los datos.
   • HBase
     • Almacena los datos de forma clavevalor; también almacena y recupera los datos de forma aleatoria.
   • Riak
     • almacena la información en forma de clave-valor y es de ambiente distribuido.
   • CouchDB
     • Almacena en tablas, sino que la base de datos está compuesta por documentos, que a su vez trabajan como objetos.
   • MongoDB
     • Es una base de datos que no tiene concepto de tablas, esquemas, SQL, columnas o filas.permite las operaciones CRUD.

4. Modelo de datos

   • Datos estructurados
     • Se dividen en estáticos y dinámicos. Son aquellos de mayor facilidad para acceder, pues tienen una estructura bien especificada.
   • Datos semiestructurados
     • Son datos irregulares, que pueden no tener un esquema en particular,no tienen un formato definido, lo que tienen son etiquetas que facilitan separar un dato de otro. Un dato de estos se lee con un conjunto de reglas de cierto nivel de complejidad.
   • Datos no estructurados
     • No pueden ser normalizados, no tienen tipos definidos ni están organizados bajo algún patrón; tampoco son almacenados de manera relacional, o con base jerárquica de datos, debido a que no son un tipo de dato predefinido.

5. Tecnologías de análisis de datos

   • BigQuery
     • Analiza interactivo de enormes conjuntos de datos hasta miles de millones de filas.
   • ThinkUp
     • Extraer información de Twitter, Facebook y Google+”. Puede almacenar actividades sociales en una base de datos con el control de cada persona.
   • Infosphere Streams
     • Analiza y transforma datos en memoria y en tiempo real.
   • Biginsights Infosphere
     • Facilitar la consulta de los datos almacenados.
   • System PureData
     • Realiza análisis de Big Data en menos tiempo que otras herramientas de análisis; la velocidad de lectura de datos promedia los 128 gigabytes por segundo.
   • Infosphere Information Server
     • Permite limpiar y transformar datos, para luego entregar información confiable a la empresa o negocio.
   • Sap Hana
     • Procesa grandes cantidades de datos en la memoria principal del servidor.
   • Oracle Big Data Appliance
     • Combina hardware con software optimizado, ofreciendo una solución completa y fácil de implementar para la organización de Big Data.
   • HDinsight
     • Gestiona datos estructurados y no estructurados de cualquier tamaño, que se pueden llegar a combinar perfectamente con herramientas de Inteligencia de Negocios de Microsoft.
   • Textalytics
     • Extracción de conceptos, relación entre conceptos, corrección ortográfica, corrección gramatical, corrección de estilo, entre otras funciones, es Multiidioma.

6. Beneficios del Big Data

   • Volumen de datos o información disponible.
   • Las empresas pueden ofrecer mejores productos.
   • Análisis de datos más ágiles.

Imagens e arquivos do mapa