PREPROCESAMIENTO DE DATOS

PREPROCESAMIENTO DE DATOS

1. Es

   • Un paso preliminar durante el proceso de minería de datos

2. Tareas

   • Limpieza de Datos
     • Completar valores perdidos
     • Ablandar datos ruidosos
     • Identificar o remover "outliers"
     • Resolver inconsistencias
   • Integridad de Datos
     • De
       • BD múltiples
       • Cubos de datos o archivos
     • Integración de Esquemas
       • Integrar Metadatos de distintas fuentes
       • Problema de identificación de entidades
         • Identificar entidades del mundo real a partir de fuentes de datos múltiples
     • Detección y resolución de conflictos de valores de datos
       • Para la misma entidad del mundo real, los valores de atributos de distintas fuentes pueden ser diferentes
       • Razones posibles
         • Representaciones distintas
         • Escalas distintas
           • Ejemplo
             • Sistema métrico vs no métrico
     • Se combinan datos de múltiples fuentes en un almacenamiento coherente
     • Tratamiento de datos redundantes
       • Aparecen
         • Cuando se integran múltiples bases de datos
       • Se detectan
         • Por análisis de correlación
   • Transformación de Datos
     • Normalización
       • Se ajusta a una escala para caer en un rango pequeño y especificado
     • Suavizamiento
       • Remover ruido de los datos
     • Generalización
       • Trepar
     • Agregación
   • Reducción de Datos
     • Obtener representación reducida en volumen
       • Produciendo resultados analíticos iguales o similares
     • Estrategias
       • Agregación del cubo de datos
       • Reducción de la dimensionalidad
         • Selección de características mínimas
         • Reducir # de patrones en los patrones
         • Métodos heurísticos
           • 1 Selección paso a paso hacia adelante
           • 2 Eliminación paso a paso hacia atrás
           • 3 Combinación de la 1 y la 2
           • 4 Inducción de árboles de decisión
           • Para
             • Selección de características
       • Reducción de numerosidad
       • Discretización y generación de jerarquías de conceptos
   • Discretización de Datos
     • Parte de la reducción de datos
       • Pero
         • Particular importancia para los datos numéricos

3. Formato de los datos

   • Formas
     • Estáticas
     • Categóricas
     • Numéricas
     • Dinámicas
   • Ejemplos incluyen
     • Metadatos
     • Webdata
     • Texto
     • Vídeo
     • Audio
     • Imágenes

4. Tratamiento de datos faltantes

   • Soluciones
     • Rellenar manualmente los valores perdidos
     • Rellenar automáticamente con la palabra "desconocido"
   • Como tratarlos
     • Ignorar la tupla
       • Se hace cuando falta la etiqueta de clase
     • Completar el dato faltante a mano
       • Tedioso y poco factible
     • Usar una constante global
       • Para completar el dato faltante: e.g., "n/d", o crear una nueva clase
     • Usar el valor medio del atributo
       • Para completar el dato faltante
       • Para todas las muestras que pertenezcan a la misma clase
     • Usar el valor más probable
       • Basado en inferencia como fórmulas bayesianas o árboles de decisión

5. Duplicación de Datos

   • Puede ser un problema importante en minería de datos
     • Hacen que
       • Se pierdan negocios
       • Se pierda el tiempo
       • Sea difícil de tratar
     • Ejemplo
       • Cuando la empresa tiene un número excesivo de bases de datos
   • Soluciones
     • Actualizaciones de software
     • Cambiar la forma en que se controla la gestión de relaciones con clientes en el negocio

6. Datos con Ruido

   • Ruido
     • Error aleatorio o varianza en una variable medida
     • Valores de atributos incorrectos por
       • Instrumentos de medición erróneos
       • Problemas en la entrada de datos
       • Problemas de la transmisión
       • Limitaciones tecnológicos
     • Otros problemas
       • Requieren "data cleaning"
         • Registros duplicados
         • Datos incompletos
         • Datos incosistentes
   • Como tratarlos
     • Clustering
       • Detectar y remover "outliers"
     • Inspección combinada humano-computadora
       • Detectar valores sospechosos automáticamente y contrastarlos con opinión humana
     • Regresión
       • Suavisar ajustando los datos a través de funciones de regresión

7. Comprensión de Datos

   • Comprensión de cadenas
   • Comprensión de audio/video
   • Secuencia temporal

8. Discretización

   • Tipos de atributos
     • Nominales
       • Valores de un cjto. no ordenado
     • Ordinales
       • Valores de un cjto. ordenado
     • Continuos
       • Numeros reales
   • Es
     • Dividir el rango de un atributo continuo en intervalos

9. JIMÉNEZ MÉNDEZ REINA ESTHER. LICENCIATURA EN COMPUTACIÓN. ESCUELA DE CIENCIAS UABJO