Sin título

Preprocesamiento de datos

Data Transformation

Data Integration

Data Reduction

Data Cleaning

Eliminar ruido en los datos

Combina datos de múltiples fuentes en un almacén de datos coherente, como en el almacenamiento de datos.

Data compression

Completar valores en los datos

Corregir inconsistencias en los datos

Métodos para completar datos

Ignorar Tupla

Usar una constante global para completar el valor perdido

Completar el valor perdido manualmente

Se hace generalmente cuando falta la etiqueta de la clase

Consume tiempo y no es efectivo en un set de datos largo con varios valores perdidos

Reemplaza los valores de atributos perdidos por una misma constante

Algunos métodos para eliminar ruido

Clustering

Regression

Binning methods

Los métodos de agrupamiento suavizan un valor de datos ordenado consultando el \vecindario", o valores a su alrededor

Los valores atípicos se pueden detectar mediante la agrupación, donde los valores similares se organizan en grupos

Los datos se pueden suavizar ajustando los datos a una función, como con regresión

Algunas inconsistencias de datos pueden corregirse manualmente usando referencias externas

Las redundancias pueden ser detectadas por un análisis de correlación

Agregación

Normalización

Generalización

Suavizado

Donde los datos de atributos se escalan para caer dentro de un pequeño rango especificado

Funciona para eliminar el ruido de los datos

Donde se aplican operaciones de resumen o agregación a los datos

Donde los datos de bajo nivel o 'primitivos' (sin procesar) se reemplazan por conceptos de nivel superior mediante el uso de jerarquías de conceptos.

Ejemplo: -1 a 1 o 0 a 1

Tales técnicas incluyen binning, clustering y regresión

Por ejemplo, las ventas diarias. los datos pueden agregarse para calcular los montos totales mensuales y anuales

Por ejemplo, los atributos categóricos, como calle, se pueden generalizar a conceptos de nivel superior, como ciudad o condado

Numerosity reduction

Dimension reduction

Data cube aggregation

Discretization and concept hierarchy generation

Donde atributos o dimensiones irrelevantes, débilmente relevantes o redundantes pueden ser detectado y eliminado.

Donde se utilizan mecanismos de codificación para reducir el tamaño del conjunto de datos.

Donde los datos son reemplazados o estimados por representaciones alternativas de datos más pequeños como modelos paramétricos

Donde las operaciones de agregación se aplican a los datos en la construcción de un cubo de datos.

Donde se reemplazan los valores de datos sin procesar para los atributos por rangos o niveles conceptuales superiores