Big data

Big data

1. ¿Qué es?

   • ZDNet.com
     • el término aplica a la información que no puede ser procesada o analizada mediante procesos tradicionales
   • Thinkupapp.com
     • Cantidades masivas de datos que se acumulan con el tiempo
     • Difíciles de analizar y manejar utilizando herramientas comunes
   • E. Dans
     • tratamiento y análisis de enormes repositorios de datos
     • Resulta imposible tratarlos con las herramientas convencionales

2. Dimensiones

   • Volumen
     • Es el aumento significativo de datos creado por personas o maquinas
       • terabytes, petabytes y exabytes
   • Velocidad
     • Velocidad con que se crean los datos
       • la medida en que aumentan los productos de desarrollos de software
         • páginas web, archivos de búsquedas, redes sociales, foros, correos electrónicos, entre otros
   • Variedad
     • Va muy de la mano con el volumen
       • Muchas formas de representar los datos
         • Estructurados
           • Hojas de cálculo
           • Encuestas a usuarios
           • Formularios Web
         • No estructurados
           • Páginas web
           • Archivos de búsquedas
           • Redes sociales
           • Foros
           • Correo electrónico, entre otros

3. Tecnologías de Big data

   • Apache Hadoop
     • software de código abierto
     • Creado por Doug Cutting
       • para apoyar su trabajo en Nutch
         • Web de búsqueda
     • Almacenamiento de datos
       • Estructurados
       • Semiestructurados
       • No estructurados
     • Según Chuck Lam
       • diseñado para ejecutarse en grupos relativamente grandes de hardware
         • Clúster robustos.
       • Es robusto
         • Ante un mal funcionamiento del hardware puede superar sin mayor inconveniente.
       • Es escalable
         • Crea o agregar nodos al clúster con relativa facilidad
       • Es simple
         • Permite a los usuarios escribir código con eficiencia, para software distribuido
   • Bases de datos NoSQL​
     • Significa no solo SQL
       • Creado por Carlo Strozzi
         • No tienen esquemas
         • Tampoco permiten joins (unión)
         • No almacenan datos en tablas de filas y columnas de manera uniforme
     • Características
       • los datos se hallan distribuidos en varias máquinas.
       • Mayor velocidad que en otras con modelo relacional.
     • Clases de bases de datos NoSQL
       • Voldemort
         • creada por LinkedIn
           • Soluciona problemas de escalabilidad que tenían las bases de datos relacionales
           • Almacena en forma de clave-valor
           • Es de ambiente distribuido
           • Los datos se replican automáticamente en los diferentes nodos o servidores
       • HBase
         • tipo código abierto(Open Source)
           • Almacena en forma de clave-valor
           • También almacena y recupera los datos de forma aleatoria
           • Al momento de escribir y leer datos lo hace a su manera
           • Trabaja con datos: no estructurados, semiestructurados y estructurados, siempre y cuando no sean tan grandes.
       • Riak
         • Datos de clave-valor y es de ambiente distribuido
         • Tolerante a fallos,
           • Puede eliminar errores
         • Utiliza JSON (JavaScript Object Notation- Notación de Objetos de JavaScript)
           • Formato para el intercambio de datos
       • CouchDB (Clusterof UnreliableCommodity Hardware)
         • Creado en el año 2005, por Damien Katz
         • Servidor de base de datos documental
           • No almacena en tablas,
       • MongoDB
         • perfil NoSQL orientada a documentos
         • código abierto.
         • Versatilidad, potencia y su facilidad de uso
         • Maneja grandes y pequeños volumenes
         • No tiene concepto de tablas, esquemas, SQL, columnas o filas

4. Modelo de datos

   • Datos estructurados
     • Estructura bien especificada
     • Mayor facilidad para acceder
     • Clasificación
       • Estáticos
         • Array
           • Colección finita de elemento
           • Homogéneos, y ordenados por un índice
           • Facilita la administración de los datos
           • Ejemplo: Una fecha DD, MM, AA
         • Cadena de caracteres
         • Registros
       • Dinámicos
         • Listas
         • Pilas
         • Colas
         • Árboles
         • Archivos
   • Datos semiestructurados
     • No tienen un formato definido
     • Tienen etiquetas que facilitan separar un dato de otro
     • Lee con un conjunto de reglas de cierto nivel de complejidad
   • Datos No estructurados
     • No pueden ser normalizados
     • No tienen tipos definidos
     • Ni están organizados bajo algún patrón
     • No hay base jerárquica
     • No tienen un formato normalizado

Imagens e arquivos do mapa