BIG DATA

BIG DATA

1. DEFINICION

   • son cantidades masivas de datos que se acumulan con el tiempo que son difíciles de analizar y manejar utilizando herramientas comunes de gestión de bases de datos”

2. DIMENSIONES

   • VOLUMEN
     • las empresas están inundadas de datos
   • VARIEDAD
     • existen muchas formas de representar los datos
       • ESTRUCTURADOS NO ESTRUCTURADOS
         • se generan desde páginas web, archivos de búsquedas, redes sociales, foros, correos electrónicos o producto de sensores en diferentes actividades de las personas
   • VELOCIDAD
     • Se refiere a la velocidad con que se crean los datos, que es la medida en que aumentan los productos de desarrollos de software

3. ANALISIS

   • los datos provienen de gran variedad de fuentes
     • Web
     • bases de datos
     • redes sociales
     • datos semiestructurados

4. TECNOLOGIAS

   • Hadoop MapReduce
     • Es un sistema basado en hilados para el procesamiento paralelo de grandes conjuntos de datos
   • Hadoop Distributed File System
     • Es un sistema de archivos altamente tolerante a fallos, escalable y con una arquitectura distribuida; puede llegar a almacenar 100 TB en un solo archivo

5. Bases de datos NoSQL

   • Las bases de datos NoSQL permiten obtener los datos con mayor velocidad
     • DynamoDB
       • guarda muy fácil y económicamente cualquier cantidad de información.
     • Cassandra
       • Es una base de datos distribuida, y almacena los datos en forma de clavevalor
     • Voldemort
       • fue creada con el fin de solucionar los problemas que tenían las bases de datos relacionales
     • Google BigTable
       • fue creado por Google con la idea inicial de que fuera distribuido para varias máquinas
     • HBase
       • almacena y recupera los datos de forma aleatoria,
     • Riak
       • puede eliminar errores y sus efectos antes de que ocurra una falla
     • CouchDB
       • indica que los datos no los almacena en tablas, sino que la base de datos
     • MongoDB
       • Es una base de datos que no tiene concepto de tablas, esquemas, SQL, columnas o filas
     • BaseX
       • permite almacenar, recuperar y gestionar datos de documentos

6. Modelo de datos

   • Datos estructurados
     • son aquellos de mayor facilidad para acceder, pues tienen una estructura bien especificada
   • Datos semiestructurados
     • Estos datos no tienen un formato definido, lo que tienen son etiquetas que facilitan separar un dato de otro.
   • Datos no estructurados
     • no tienen un identificador definido, no se puede reconocer su estado físico ni lógico

7. Tecnologías de análisis de datos

   • BigQuery
     • es un servicio web que permite hacer un análisis interactivo de enormes conjuntos de datos hasta miles de millones de filas
   • ThinkUp
     • es una aplicación web gratuita, de código abierto, puede almacenar actividades sociales en una base de datos con el control de cada persona
   • Infosphere Streams
     • permite el análisis de datos en milisegundos
   • Biginsights Infosphere
     • es una forma de facilitar la consulta de los datos almacenados.
   • System PureData
     • permite el análisis de datos tanto estructurados como no estructurados.
   • Infosphere Information Server
     • Esta herramienta permite trabajar inteligencia de negocios, facilitando la mejor toma de decisiones
   • Sap Hana
     • Esta tecnología permite realizar procesamiento de grandes cantidades de datos en la memoria principal del servidor
   • Oracle Big Data Appliance
     • ofrece una solución completa y fácil de implementar para la organización de Big Data
   • HDinsight
     • permite gestionar datos estructurados y no estructurados de cualquier tamaño
   • Textalytics
     • se dedica al análisis de texto; extrae con facilidad significado de lo escrito en medios sociales y todo tipo de documentos.