BIG DATA

BIG DATA

1. Es un término que describe cualquier cantidad voluminosa de datos estructurados, semiestructurados y no estructurados que se les puede obtener información

   • TECNOLOGIAS PARA BIG DATA
     • Estos nuevos esquemas de procesamiento han de ser diseñados para procesar conjuntos de datos grandes, datos masivos, dentro de tiempo de cómputo razonable y en un rango de precisión adecuado.
     • Desde el punto de vista del aprendizaje automático, esta problemática ha causado que muchos algoritmos estándar se conviertan en obsoletos en el paradigma Big Data.
     • Google diseñó MapReduce en 2003 que es considerada como la plataforma pionera para el procesamiento de datos masivos
       • MapReduce es capaz de procesar grandes conjuntos de datos, a la vez que proporciona al usuario un manejo fácil y transparente de los recursos del clúster subyacente.
     • Apache Spark nace como una alternativa que intenta dar solución a las limitaciones de MapReduce/Hadoop. Spark se ha convertido en una de las herramientas más potentes y populares en el ecosistema del Big Data,
       • Spark es perfecto para procesos iterativos donde un mismo dato es reutilizado varias veces para el procesamiento de algoritmos sobre grafos, etc.
   • PROCESAMIENTO DE DATOS
     • ESPECIFICACION Y COMPRENSION DEL PROBLEM
     • PRE- PROCESAMIENTO DE DATOS
     • MINERIA DE DATOS
     • EVALUACION DE RESULTADOS
     • EXPLORACION DE RESULTADOS
   • HERRAMIENTAS PARA LA ANALITICA DE DATOS MASIVOS
     • Mahout: Esta biblioteca ofrece implementaciones basadas en Hadoop MapReduce para varias tareas de analítica de datos como el agrupamiento,
     • MLlib : Nacida junto al proyecto de Spark; es una biblioteca de aprendizaje automático que contiene varias utilidades estadísticas y algoritmos de aprendizaje.
     • FlinkML : Es la biblioteca nativa para análisis distribuido de datos de Flink. FlinkML incluye algoritmos escalables para tareas como la clasificación, el agrupamiento, el preprocesamiento de datos y la recomendación.
     • H2O : Es una plataforma de código abierto para análisis Big Data. H2O destaca por su aproximación al deep learning, y por sus implementaciones iterativas.

2. CARACTERISTICAS DE BIG DATA

   • VARIEDAD
   • VOLUMEN
   • VELOCIDAD
   • VALOR
   • VERACIDAD

3. PRE PROCESAMIENTO DE DATOS MASIVOS

   • ALGORITMOS
     • Discretización y normalización
     • Extracción de atributos
     • Selección de atributos
     • Conversores para atributos
     • Técnicas para el preprocesamiento de texto: