Minería de datos

Minería de datos

1. Tipos de datos

   • 1. Datos numéricos
     • Valores que pueden representarse en forma numérica y permiten operaciones matemáticas.
   • 2. Datos numéricos continuos
     • Pueden tomar cualquier valor dentro de un intervalo (ej.: temperatura, tiempo).
   • 3. Datos numéricos discretos
     • Solo toman valores enteros (ej.: número de productos vendidos).
   • 4. Datos categóricos
     • Representan grupos o categorías sin valor numérico (género, estado civil).
   • 5. Datos binarios
     • Tienen dos valores posibles (0/1, sí/no).
   • 6. Datos texto
     • Información escrita en forma de palabras, frases o párrafos.
   • 7. Datos temporales
     • Incluyen fechas, horas o secuencias temporales.
   • 8. Datos espaciales / geográficos
     • Representan ubicaciones o coordenadas geográficas.
   • 9. Datos de imágenes y videos
     • Datos visuales como fotografías, marcos o secuencias de video.
   • 10. Datos sociales / de redes
     • Representan relaciones entre personas o entidades (como redes sociales).
   • 11. Datos estructurados
     • Datos organizados en tablas con filas y columnas (bases de datos relacionales).
   • 12. Datos no estructurados
     • No tienen un formato fijo (imágenes, texto libre, audio).
   • 13. Datos semiestructurados
     • Tienen organización flexible como XML, JSON o HTML.
   • 14. Datos maestros
     • Datos estables y esenciales para la organización (clientes, productos, proveedores).
   • 15. Datos en tiempo real
     • Se generan y actualizan continuamente (sensores, monitoreo).
   • 16. Datos geo-espaciales
     • Información georreferenciada usada en mapas y sistemas de seguimiento.
   • 17. Datos transaccionales
     • Registros de actividades como compras, pagos o reservas.

2. Técnicas de Tratamiento / Preprocesamiento

   • 1. Limpieza de datos
     • Valores faltantes
       • Proceso donde se identifican los datos incompletos y se decide si deben completarse (imputación) o eliminarse para mejorar la calidad del conjunto de datos.
     • Eliminación de duplicados
       • Busca registros repetidos en el dataset y los elimina para asegurar que cada observación sea única y evitar distorsiones en los análisis.
     • Corrección de errores
       • Consiste en identificar valores incorrectos, inconsistentes o mal formateados, y corregirlos para que los datos cumplan las reglas establecidas.
     • Detección de outliers
       • Identifica valores extremos que no siguen el patrón general del resto de los datos y que podrían afectar negativamente el análisis.
   • 2. Procesamiento / Transformación
     • Integración de datos
       • Combina datos provenientes de diferentes fuentes o tablas en un único conjunto coherente, resolviendo conflictos de formato o duplicidad.
     • Transformación de atributos
       • Modifica características para que sean más útiles, como convertir texto a números, crear rangos o estandarizar unidades.
     • Discretización
       • Convierte atributos numéricos continuos en categorías o intervalos, facilitando ciertos análisis o algoritmos que requieren datos discretos.
     • Estandarización de formatos
       • Unifica la forma en que se representan los datos, como fechas, unidades o nombres, para que tengan el mismo formato en todo el conjunto.
   • 3. Normalización (escalamiento)
     • Min-Max
       • Escala los valores de un atributo a un rango fijo, normalmente entre 0 y 1, manteniendo proporciones.
     • Z-score
       • Transforma los datos usando la media y desviación estándar para que el atributo tenga media 0 y desviación estándar 1.
     • Escalamiento decimal
       • Mueve el punto decimal de los valores según la magnitud del atributo, logrando que queden dentro de un rango pequeño como [0,1].
   • 4. Reducción de datos
     • Selección de atributos
       • Elige las variables más relevantes y elimina las que aportan poco o nada al análisis, reduciendo complejidad sin perder calidad.
     • Reducción de dimensionalidad
       • Técnicas que transforman múltiples atributos en un número menor de variables que sintetizan la información (como PCA).

3. Relación entre Tipo de Dato y Técnica

   • 1. Numéricos continuos → Normalización
     • Los datos numéricos continuos requieren escalamiento para que sus valores queden en un rango comparable, evitando que una variable con mayor magnitud influya más que las otras en el análisis.
   • 2. Numéricos continuos → Discretización
     • Cuando se convierten valores continuos (como edad o ingresos) en intervalos o categorías, se facilita su análisis en modelos que requieren datos discretos o clasificaciones.
   • 3. Temporales → Estandarización de formato (ejemplo: eliminar la hora)
     • Los datos de fecha y hora deben ajustarse a un formato consistente. Por ejemplo, si una fecha incluye hora, se puede recortar para dejar solo la fecha cuando el análisis no necesita la hora.
   • 4. Texto → Limpieza y estandarización
     • Los datos textuales necesitan corrección de errores, unificación de mayúsculas/minúsculas y eliminación de caracteres innecesarios para que puedan procesarse correctamente.
   • 5. Estructurados → Integración y búsqueda de duplicados
     • Los datos en tablas provienen muchas veces de distintas fuentes, por lo que deben unificarse y revisarse para asegurar que no existan registros repetidos o inconsistentes.
   • 6. Transaccionales → Eliminación de duplicados
     • Los registros de compras o eventos pueden repetirse, por lo que es esencial eliminar duplicados para evitar conteos incorrectos o patrones falsos.
   • 7. Datos sensibles → Reducción (anonimización)
     • Los datos personales deben transformarse o reducirse para evitar exponer información identificable, protegiendo la privacidad y cumpliendo normas de seguridad.