Big data. Un nuevo paradigma de análisis de datos

Big data. Un nuevo paradigma de análisis de datos

1. Empresas líderes en el mercado de base de datos

   • Microsoft
   • IBM
   • Oracle

2. Elementos

   • Cálculo distribuido
   • Conjuntos de datos masivos
   • Estadístca
   • Minería de datos

3. Definición por el diccionario Oxford

   • “Datos de tamaño muy grande, típicamente hasta el extremo de que su gestión presenta retos logísticos significativos”.

4. Definición por McKinsey Global Institute (MGI)

   • “Conjuntos de datos cuyo tamaño va más allá de la capacidad de captura, almacenado, gestión y análisis de las herramientas de base de datos”.

5. Gartner 2012: “activos de información caracterizados por su volumen elevado, velocidad elevada y alta variedad, que demandan soluciones innovadoras y eficientes de procesado para la mejora del conocimiento y la toma de decisiones en las organizaciones.

6. Redes Sociales

   • Twitter
   • Linkedin
   • Facebook

7. Internet de las cosas

   • Datos que se generan entre persona y máquina o entre máquina y máquina, como ocurre con los datos de las redes sociales también suelen ser no estructurados.

8. MapReduce

   • Modelo de programación y una implantación para procesar y generar grandes conjuntos de datos que tiene sus orígenes en el lenguaje LISP.

9. Hadoop

   • Plataforma de software que permite escribir con facilidad y ejecutar aplicaciones que procesan ingentes cantidades de datos.
     • Incluye
       • HBase (acceso de datos online).
       • HDFS (sistema de ficheros distribuidos de Hadoop).
       • MapReduce (motor de cálculo offline).
     • Características
       • Escalable
         • Diseñado para escalar de servidores individuales a miles de máquinas, cada una ofreciendo cálculo local y almacenamiento.
         • Económico
           • Distribuye los datos y los procesa a través de clústers de ordenadores comúnmente disponibles (en miles).
           • Eficiente
             • Fiable
               • Automáticamente mantiene copias de datos y también de manera automática realiza de nuevo tareas de computación basadas en fallos.
             • Al distribuir los datos puede procesarlos en paralelo sobre los nodos donde los datos están localizados.
   • Ejemplos
     • Amazon
       • Dentro de su analítica se procesan diariamente millones de sesiones.
       • Yahoo
         • Hadoop se ejecuta en más de 100.000 CPU que se encuentran en aproximadamente 20.000 ordenadores.
         • Facebook
           • Emplea Hadoop para almacenar copias de log internos y fuentes de dimensión de datos. Lo utiliza como fuente para generar informes de analítica y aprendizaje de máquina.

10. NoSQL y Hadoop

    • Hace referencia a amplias clases de bases de datos que se diseñan para manejar datos semiestructurados.
    • Características
      • No utilizan el lenguaje de consultas o SQL.
        • Sistemas abiertos o libres.
          • Poseen alta velocidad y muestran un elevado grado de tolerancia al fallo.
            • Poseen alta velocidad y muestran un elevado grado de tolerancia al fallo
              • Pueden procesar consultas con rapidez al enviar varias consultas a múltiples máquinas al mismo tiempo.

11. Computación en la nube

    • Solución de las tecnologías de la información (IT) para ofrecer recursos y servicios sobre Internet.
      • Redes
        • Servidores
          • Equipos de almacenamiento
            • Aplicaciones
              • Servicios