Big Data

Big Data

1. Que es?

   • Los macrodatos, ​ también llamados datos masivos, inteligencia de datos, datos a gran escala o big data es un término que hace referencia a conjuntos de datos tan grandes y complejos que precisan de aplicaciones informáticas no tradicionales de procesamiento de datos para tratarlos adecuadamente.

2. Herramientas

   • 1. Hadoop
     • Esta herramienta Big Data open source se considera el framework estándar para el almacenamiento de grandes volúmenes de datos
     • 2. MongoDB
       • MongoDB es una base de datos orientada a documentos (guarda los datos en documentos, no en registros). Estos documentos son almacenados en BSON, que es una representación binaria de JSON.
       • 3. Elasticsearch
         • Elasticsearch es una potente herramienta para la búsqueda entre grandes cantidades de datos, especialmente cuando los datos son de tipo complejo.
         • 4. Apache Spark
           • Apache Spark es un motor de procesamiento de datos de código abierto realmente rápido.
           • 5. Apache Storm
             • Apache Storm es un sistema de computación distribuida en tiempo real orientado a procesar flujos constantes de datos
             • 6. Lenguaje R
               • R es un lenguaje de programación y entorno de software para cálculo estadístico y gráficos.
               • 7. Python
                 • Python es un lenguaje avanzado de programación con la ventaja de ser relativamente fácil de usar para usuarios que no estén familiarizados con la informática de manera profesional, pero que necesitan trabajar con análisis de datos (estadistas, biólogos, físicos, lingüistas…).

3. Datos

   • Estructurados
     • Se dice que los datos son estructurados cuando están en un archivo con campos o variables fijas. El ejemplo más familiar de una base de datos estructurados es una hoja de cálculo, donde cada columna es una variable y cada fila un caso u observación.
     • No Estructurados
       • Los datos no estructurados, generalmente son datos binarios que no tienen estructura interna identificable. Es un conglomerado masivo y desorganizado de varios objetos que no tienen valor hasta que se identifican y almacenan de manera organizada.

4. ETL

   • Que es?
     • Los datos no estructurados, generalmente son datos binarios que no tienen estructura interna identificable. Es un conglomerado masivo y desorganizado de varios objetos que no tienen valor hasta que se identifican y almacenan de manera organizada.

5. El Big Data cuenta con cinco características esenciales, sus cinco V

   • 1Volumen 2 Variedad 3 Velocidad 4VeracidaD 5 Valor.

6. ciclo de vida de los datos

   • 1-Planificacion
     • implica tener uno o varios objetivos en común, junto con acciones requeridas para concluirse exitosamente.
     • 2-Recolectar
       • es el proceso de recopilar y medir información sobre variables específicas en un sistema establecido, que luego permite responder preguntas relevantes y evaluar resultados.
       • 3-Controlar la calidad
         • a travez de verificaciones y inspecciones, se asegura que los datos sean de calidad
         • 4-Describir
           • los datos se describen en forma precisa y completa, utilizando estandares de metadatos apropiados y validados por la comunidad cientifica mas pertinente
           • 5-Preservar
             • consiste en organizar y preservan los datos y materiales empleados en la creación del conocimiento, una vez que los resultados (artículo, monografía o ponencia) han sido publicados.
             • 6-Descubrir
               • la observación novedosa u original de algún aspecto de la realidad, normalmente un fenómeno natural; el hallazgo, encuentro o manifestación de lo que estaba oculto y secreto o era desconocido.
               • 7-Integrar y analizar
                 • Examinar detalladamente una cosa, separando o considerando por separado sus partes, para conocer sus características o cualidades, o su estado, y extraer conclusiones.
                 • 8-finalizacion

Imágenes y archivos del mapa