Minería de datos

Page 1

Concepto

La minería de datos es la exploración y análisis de grandes cantidades de datos, con el objetivo de encontrar patrones y reglas significativas, su propósito es descubrir, extraer y almacenar información relevante de amplias bases de datos, esto lo logra utilizando diversos programas que permiten la búsqueda e identificación de patrones y relaciones globales como: tendencias, desviaciones, etc.

Proceso KDD

La minería de datos es parte de una etapa del proceso de extracción del conocimiento a partir de datos (KDD) dicho proceso consta de las siguientes fases:

1. Selección: recopila e integra las fuentes de datos existentes, además identifica y selecciona las variables relevantes en los datos para poder aplicar las técnicas de muestreo adecuadas

2. Exploración: ayuda a deducir la distribución de los datos, simetría y normalidad, utilizando las técnicas de análisis exploratorio de datos, para analizar las correlaciones existentes en la información

3. Limpieza: detecta y trata la presencia de valores atípicos (outliers) para poder eliminar datos erróneos e irrelevantes, además de imputar la información faltante o valores perdidos (datos missing)

4. Transformación: utiliza las técnicas de reducción y aumento de la dimensión, aplicando técnicas de discreción y numeración para poder realizar escalado simple y multidimensional

5. Minería de datos: se utilizan técnicas predictivas y descriptivas

6. Evaluación e interpretación de resultados: se usan intervalos de confianza, análisis ROC, bootstrap y evaluación de modelos

7. Difusión y uso de modelos: es la visualización y simulación

¿Qué son los programas mineros?

Los mineros son programas pensados y creados por el usuario, en el que se emplean técnicas diferentes para la explotación de los datos, como: cluster, asociaciones, clasificación, visualización, etc. Su objetivo es correlacionar los datos de selección y búsqueda con los datos históricos (son datos estables y coherentes previamente recolectados en la empresa para buscar), mostrando hallazgos interesantes

Los criterios de búsqueda son los lineamientos, tendencias y patrones desde los cuales los programas mineros realizan el proceso de búsqueda y selección de datos, es prácticamente el ¿qué se busca?

Técnicas de la minería de datos

- Técnicas predictivas:

Se especifica el modelo para los datos con base en un conocimiento teórico previo, el modelo propuesto para los datos debe contrastarse después del proceso de minería de datos antes de aceptarlo como válido, pj: algoritmos genéticos, clasificación ad hoc

- Técnicas descriptivas:

No se asigna ningún papel predeterminado a las variables, no se supone la existencia de variables dependientes e independientes, pj: asociación, dependencia, clasificación post hoc

- Técnicas auxiliares:

Son herramientas de apoyo más superficiales y limitadas, buscan la verificación como: reporting, SQL y herramientas de búsqueda, etc.

Page 2

KDD

Knowledge Discovery Databases o descubrimiento de conocimiento en base de datos, es un proceso novedoso y no trivial de identificación de patrones de los datos para la obtención de nuevo conocimiento

Es un proceso no trivial de identificar patrones a partir de los datos con las siguientes características: válidos, novedosos, potencialmente útiles y comprensibles, el proceso KDD debe realizarse de forma interactiva (se busca la participación activa de los usuarios) e iterativamente (una vez concluida una etapa se puede avanzar a la siguiente)

KDD es un proceso automático en el que se combinan descubrimiento y análisis, el proceso consiste en extraer patrones en forma de reglas o funciones, a partir de los datos para que el usuario los analice; esta tarea implica generalmente preprocesar los datos, hacer minería de datos y presentar resultados