Big Data

Big Data

1. Que es

   • Es un gran volumen de informacion de diversas fuentes a una velocidad tan rapida que no paran de llegar y son casi imposibles de procesas en una computadora tradicional.
     • Open Data
       • Open Data es una campaña que tiene como objetivo proporcionar un conjunto de datos abiertos al público para su desarrollo, implementación o uso combinado con otros datos. Los datos gratuitos ilimitados están llegando, no solo en SIG, sino también en otros campos como la ciencia, la literatura o la tecnología.
         • ETL
           • EXTRACCION: Recuperación de datos de varios sistemas de origen
             • TRANSFORMACION: Los datos extraídos se transforman en un formato fácil de entender. Eliminación de entradas duplicadas, Filtrado y validación de datos, Unión de datos de distintas fuentes
               • LOAD: Los datos se cargan en el almacén y se divide en CARGA COMPLETA: Todos los datos se mueven al almacén al mismo tiempo INCREMENTAL: Se produce en lotes.
     • Herramientas
       • Hadoop: Gestiona y analiza grande volumen de informacion.
         • Apache storm: Analiza los flujos de informacion con mucha rapidez.
           • Python: Estádestinada a acualquier usuario con jociones mínimas de informatica.
             • Elastic search: Es un sistema qur procesa grandes cantidades de datos en tiempo real.
               • Apache shark: Es un motor de procesamiento de datos de codigo abierto que funciona con gran rapidez.
                 • MongoDB: Sirve para almacenar los datos de las aplicaciones de los ususrios.
     • Las 5Vs:
       • Volumen: Gran cantidad de informacion dificil de procesar con los medios tradicionales.
         • Variabilidad: Diversos lugares de donde vienen los datos e informacion.
           • Velocidad: El flujo de datos e informacion es asiva y constante.
             • Veracidad: Es saber que datos tenemos y que datos no. Y saber cuales se pueden analizar.
               • Valor: Es saber que tan pertinente es la informacion para los objetivos que estoy buscando .
     • Ciclo de vida
       • Capturar: Investigar acerca del tema, buscar en otras fuentes y aplicarlos en tu presentación .
         • Almacenamiento; Ya se hizo el etl, ya se transformo y se guardo en un data wear house.
           • Procesamiento y análisis: ya se tiene los datos limpios y estandarizados, ahora se hacen patrones y definimos que estamos buscando o apoyarse en machine laerning que hace patrones mas completos.
             • Exploracion: Mostramos la información en un tablero para que los tomadores de decisiones puedan decidir, para el dinero te muestran el comportamiento del usuario y te predice el futuro y se puede saber si las ventas suben o bajan, temporadas, lugares donde se podría vender mas
     • Datos Estructurados
       • Cuando hablamos de datos estructurados nos referimos a la información que se suele encontrar en la mayoría de bases de datos relacionales. Suelen ser archivos de texto que se almacenan en formato tabla, hojas de cálculo o bases de datos relacionales con títulos para cada categoría que permite identificarlos.
         • Datos No Estructurados
           • La característica principal de este tipo de datos, generalmente binarios, es que no poseen una estructura interna identificable. Se trata de un cúmulo de información que deben identificarse y almacenarse de forma organizada a través de una base de datos no relacional.
             • Fuente: agenciab12.com

Imagens e arquivos do mapa