MC 21

Big Data: Procesamiento y calidad de datos

Es un término que describe el gran volumen de datos, tanto estructurados como no estructurados, que inundan los negocios cada día. Pero no es la cantidad de datos lo que es importante. Lo que importa con el Big Data es lo que las organizaciones hacen con los datos. Big Data se puede analizar para obtener ideas que conduzcan a mejores decisiones y movimientos de negocios estratégicos.

Procesamiento de datos

Es una etapa esencial del proceso de descubrimiento de la información. Esta etapa se encarga de la limpieza de datos, su inte-

gración, transformación y reducción para la

siguiente fase de minería de datos

Etapas del proceso del KDD

>Datos

-Especificación y comprensión del problema

-Procesamiento de datos

-Mineria de datod

-Evaluacion de resultados

-Explotacion de resultados

>Conocimiento

Big Data

El ritmo actual de generación de datos está sobrepasando las capacidades de procesamiento de los sistemas actuales. La necesidad de procesar y extraer conocimiento valioso de tal inmensidad de datos se ha convertido en un desafío considerable para científicos de datos y expertos en la materia. El valor del conocimiento extraído es uno de los aspectos esenciales de Big

Data.

Tecnologías para Big Data

Las tecnologías y algoritmos sofisticados

y novedosos son necesarios para procesar

eficientemente lo que se conoce como Big

Data.

Google diseñó MapReduce en 2003 [8] que

es considerada como la plataforma pionera

para el procesamiento de datos masivos, así

como un paradigma para el procesamiento

de datos mediante el particionamiento de

ficheros de datos. MapReduce es capaz de

procesar grandes conjuntos de datos, a la

vez que proporciona al usuario un manejo

fácil y transparente de los recursos del clús-

ter subyacente.

Herramientas para la analítica de datos masivos

Ha surgido un gran abanico de herramientas de analítica de datos escalables asociadas a las plataformas anteriores, con el objetivo de dar soporte al proceso de análisis de datos.

-Mahout

-MLlib

-FlinkML

-H2O

Preprocesamiento para Big Data

Se presentan diferentes

soluciones que existen actualmente para

preprocesar conjuntos de datos masivos.

Algoritmos de procesamiento de datos masivos

En esta subsección mostramos brevemente los algoritmos de preprocesamiento disponibles en las herramientas de analítica de datos previamente descritas, así como las propuestas

que encontramos en la literatura especializada.

-Discretización y normalización: Transforma atributos continuos usando intervalos discretos, mientras que la normalización realiza un ajuste en la distribución.

--Extracción de atributos: Combina el conjunto original de atributos para obtener un nuevo conjunto de atributos.

- Selección de atributos: Selecciona subconjuntos de atributos, minimizando la pérdida de información.

-Conversores para atributos: Transforman atributos de un tipo a otro usando técni cas de indexación o codificación.

-Técnicas para el preprocesamiento de texto: tienen como objetivo estructurar la entrada de texto, produciendo patrones de información estructurados.

Caso de u so: Selección de atributos escalable, algoritmo Fast-mRMR

Esta propuesta incluye varias optimizacio-

nes a la eficiencia del algoritmo original mRMR, uno de los más populares en su ámbito. Gracias a estas optimizaciones, fast-mRMR es capaz de trabajar con conjuntos de datos masivos en ambas dimensiones: no de atributos y no de instancias.Entre las optimizaciones más relevantes introducidas por fast-mRMR

-Redundancia acumulada: fast-mRMR

desarrolla una aproximación voraz al

problema de cálculo de importancia de atributos. El algoritmo almacena la re-

dundancia calculada en cada iteración para evitar cálculos innecesarios.

-Re-utilización de cálculos previos: fast mRMR almacena para su re-utilización algunos datos importantes cuando son calculados por primera vez, como, por ejemplo, la relevancia inicial o algunas

probabilidades con respecto a la clase.

-Procesamiento por columnas: en

fast-mRMR los datos iniciales (tabulados

normalmente formando una lista de filas) son transformados a una lista de columnas de manera que los cálculos entre atributos se tornan más sencillos de realizar.