Clustering

Clustering

1. Objetivo

   • A partir de un conjunto de varibales
     • Crear grupos de casos que compartan características comunes
     • Variables a utilizar
     • Métrica de distancia
     • Número de clústeres
   • Proceso iterativo. No supervisado

2. Entendimiento del negocio

   • Dos casos pueden ser arbitrariamente distintas o similares
   • Las variables tienen cierta importancia
   • Las variables pueden estar relacionadas
     • Adiciona peso o importancia oculta
   • Siempre tener en cuenta el contexto del problema
     • Crear nuevas variables para ser tenidas en cuenta
   • Eliminar Variables redundantes
     • Le da estabilidad a la solución
     • Quita pesos equivocados
     • Se hace por
       • Detección de correlaciones
       • Reducción de datos
       • Criterios de negocio

3. Preparación/Entendimiento de datos

   • Métricas de distancia
     • Medir diferencia entre los casos
     • Euclídea: Raíz cuadrada del cuadrado de la distancia
       • Distancia en línea recta entre dos puntos
     • Manhattan: Valores absolutos de la distancia entre los puntos cartesianos
       • Distancia de la suma de las diferencias de las componentes
         • No ir en línea recta
     • Jaccard: Para variables categóricas, intersección sobre la unión
     • Mahalanobis: Inclusión de la correlación-covarianza
       • Darle importancia a las variables. Intentar igualas el peso en el cálculo
     • Chebyshev: Máxima diferencia entre las coordenadas
       • Máxima diferencia en todas las dimensiones
   • Normalizar/Estandarizar
     • Diferentes dimensiones
       • Poner las variables en la misma unidad
     • Disminuir influencia de valores extremos
     • Comprimir los valores para que estén en un rango definido

4. Modelado

   • Métodos basados en optimización combinatoria
     • K-medias
       • Minimizar la suma de distancia euclídeas a los centros de los clústeres
       • Debe definirse un K. Opcionalmente los centros iniciales
       • Asignar cada punto al centro más cercano
       • Recalcular dentro del clúster la media de los puntos asignados
       • Algoritmo
         • Inicialización
           • Escoger aleotoriamente K puntos como centros iniciales
         • Asignación
           • Todos los puntos son asignados a su centro más cercano.
         • Mover centros
           • A partir de los clusters obtenidos. Nuevo centro es la media de los datos del cluster.
             • Repetir asignación y mover centros hasta que los centros no cambien
         • #clusters*#datos*complejidad distancia
       • Los centros obtenidos no son necesariamente casos del dataset
     • Jerárquico
       • Prueba todas las particiones
         • Aglomerativo
           • Cada observación es un grupo. Se mezclan grupos subiendo de jerárquia
         • Divisivo
           • Todas las observaciones son un grupo. se van dividiendo hasta bajar la jerárquia
       • Tiene mayor complejidad computacional
       • Siempre arroja los mismos resultados
       • Puede utilizar cualquier métrica de distancia
     • K-mediodes
       • Los centros son casos del dataset
       • Tiene mayor complejidad computacional
       • Generaliza otras distancias
       • Necesita tener K de entrada
     • Asignar N puntos a K clústeres
       • Minimizar una función objetivo conectada con la matriz de distancias
         • La distancia intraclúster
         • Óptima: todas la asignaciones de N a K
           • Selección de K
             • Tener en cuenta el negocio
               • Un número de clústers útil para lo que necesita
             • Influye en la calidad de la solución
               • Tener en cuenta número de casos
             • Ténicas
               • Longitud promedio de silueta
                 • Qué tan similar es un dato a su cluster comparado a los otros
                 • [-1,1]
                   • Alto indica que el dato está bien en su clúster y estaría mal en otros
                   • Bajo indica que el dato va mejor en otro clúster
                   • Si es 0, puede pertenecer al suyo o a otro bien
               • GAP
                 • El k que maximiza el GAP
                 • El valor óptimo puede ser muy grande
                 • Elegir el valor en el que el crecimiento del valor se suaviza
               • Suma de cuadrados intracluster
                 • Calcular la suma por cada K
                 • Identificar dónde la gráfica forma un codo
       • Maximizar distancia entre clústers