Big Data

Big Data

1. Porque aprender BigData?

   • Análisis de datos se lleva a cabo inicialmente con datos de la empresa .
   • como Internet conecta al mundo entero, datos existentes fuera de organización se convierte en parte sustancial de operaciones diarias.
   • Con datos estructurados organizaciones tienen el control.
     • Consultas
     • Datos transaccionales
   • Cosas se ponen complejas con advenimiento de:
     • Motores de búsqueda (Google, Bing, etc)
     • Redes sociales (Facebook, twitter, etc.)
     •  Comercio en línea como Amazón
     • Llegada de equipos móviles a la nube.
   • 90% de información total den el mundo se creo en los últimos dos años.
     • 70% de ellos por individuos, no empresas ú organizaciones

2. big data está formado por conjuntos de datos de mayor tamaño y más complejos, especialmente procedentes de nuevas fuentes de datos.

3. Las 3 V de BigData

   • Volumen
     • La cantidad de datos importa. Con big data, tendrá que procesar grandes volúmenes de datos no estructurados de baja densidad.
   • Velocidad
     • La velocidad es el ritmo al que se reciben los datos y (posiblemente) al que se aplica alguna acción.
   • Variedad
     • La variedad hace referencia a los diversos tipos de datos disponibles. Los tipos de datos convencionales eran estructurados y podían organizarse claramente en una base de datos relacional.

4. Necesidades de BigData

   • Organizaciones necesitan recopilar estos datos
   •  Objetivo es innovar y responder a necesidades de los clientes.
   • El problema no se trata sólo de volumen.

5. Arquitectura de BigData

   • Infraestructura como Servicio (IaaS)
   • Plataforma como servicio (PaaS)
   • Datos como servicio (DaaS)
   • Funciones de Big Data de negocio como servicio (bfaas)

6. Ingestion Layer

   •  Separa el ruido de la información relevante.
   • Debe ser capaz de manejar gran volumen, alta velocidad, o variedad de los datos.
   • Debe tener la capacidad de validar, limpiar, transformar, reducir, e integrar datos.

7. Big Data - Pig

   • Sistema para el procesamiento de grandesconjuntos de datos semiestructurados utilizando la plataforma MapReduce de Hadoop
   • Permite a los usuarios de Hadoop enfocarse más en analizar todos los conjuntos de datos y dedicar menos tiempo a construir programas MapReduce.
     • Arquitectura de Pig
       • Sistema para el procesamiento de grandesconjuntos de datos semiestructurados utilizando la plataforma MapReduce de Hadoop
       • Pig Latin: lenguaje procedural de alto nivel
       • Pig Engine: Prser, optimizador y ejecución de consultas distribuidas
   • Como su nombre lo indica al igual que cualquier cerdo que come cualquier cosa, el lenguaje PigLatin fue diseñado para manejar cualquier tipo de dato

8. MapReduce

   • MapReduce es un modelo de programación de alto nivel e implementado para procesamiento de datos en paralelo a gran escala.
   • Provee
     • Parallelizacion y distribucion Automatica
     • Tolerancia a fallos
     • Status y monitoreo

Images and files in the map