Big Data

Big Data

1. Usos Big Data y Data Science

   • Data Science Sandbox: Data Science es un campo interdisciplinario que combina aprendizaje automático, estadísticas, análisis avanzado y programación. Es una nueva forma de arte que extrae insights ocultos y pone los datos a trabajar en la era cognitiva.
   • Data Lake Analytics: un lago de datos es un entorno de datos compartidos que comprende múltiples repositorios y aprovecha las tecnologías de Big Data. Proporciona datos a una organización para una variedad de procesos analíticos.
   • Streaming Data / IOT Platform: Stream computing permite a las organizaciones procesar flujos de datos que están siempre encendidos y que nunca cesan. Stream computing ayuda a las organizaciones a detectar oportunidades y riesgos en todos los datos.

2. Bases de Datos NoSQL

   • Cassandra : una base de datos escalable de múltiples maestros sin puntos únicos de falla.
   • HBase : una base de datos distribuida y escalable que admite el almacenamiento de datos estructurados para tablas grandes.
   • MongoDB:sistema de base de datos NoSQL orientado a documentos

3. Tecnologias Big data

   • Hadoop:Framework que permite el procesamiento distribuido de grandes conjuntos de datos en clústeres de computadoras que usan modelos de programación simples
   • Hive : una infraestructura de depósito de datos que proporciona un resumen de datos y consultas ad hoc.
   • Mahout : una biblioteca escalable de aprendizaje automático y minería de datos.
   • Pig ™ : un lenguaje de flujo de datos de alto nivel y un marco de ejecución para el cómputo paralelo.
   • ZooKeeper: un servicio de coordinación de alto rendimiento para aplicaciones distribuidas.

4. Cloud Computing

   • MapReduce : un sistema basado en YARN para el procesamiento paralelo de grandes conjuntos de datos.
   • YARN : un marco para la programación de trabajos y la administración de recursos de clúster.
   • HDFS: sistema de archivos distribuido que proporciona acceso de alto rendimiento a los datos de las aplicaciones
   • servicios a través de la conectividad y gran escala de Internet

5. Real Time

   • Streaming es procesamiento y análisis de datos implementa un modelo de flujo de datos a través de una serie de componentes que integran el sistema de Big Data. Por ello, se le como como procesamiento “streaming” o de flujo.
   • Flink:Apache Flink es un motor de flujo de datos de transmisión que tiene como objetivo proporcionar instalaciones para el cálculo distribuido sobre flujos de datos
   • Tormenta:Apache Storm es un sistema de computación distribuido en tiempo real.

6. Modelado

   • Definicion de la naturaleza de los datos
   • Identificar Necesidades del negocio
   • Planificación
   • Simultaneidad de tareas
   • Enfoque ágil
   • tipos de modelo
     • *Modelo tabla *Modelo jerárquico *Modelo de red *Esquema estrella

7. Seguridad y Privacidad

   • Controles prioritarios de seguridad
   • Revisión de control del acceso de usuarios a las bases de datos
   • Monitoreo de comportamiento del usuario

8. BI tradicional

   • Diferencias
     • Lugar de almacenaje
       • Datos analizados
         • Tipo de información
           • Funciones-datos
             • Procesamiento Paralelo Masivo