Untitled

GRADIENT BOOSTING

Es un método de impulso, Se lo describe como una familia de algoritmos que se usan para la clasificación y la regresión. Es aplicado en la investigación clínica

Constituido por un grupo de árboles de decisión individuales

OBJETIVOS

Crear un conjunto de árboles

ELEMENTOS QUE IMPLICA

Una función de pérdida para optimizar

Un alumno débil para hacer predicciones.

Un modelo aditivo para agregar estudiantes débiles para minimizar la función de pérdida

ALGORITMO

1) Iniciar el modelo con un valor constante

2) Para m = 1 a M :

Calcular los pseudo-residuales

Ajustar en un alumno débil

a pseudo-residuales, utilizando el conjunto de entrenamiento

Calcular multiplicador

resolviendo el siguiente problema de optimización unidimensional:

Actualizar el modelo

3) Producir

Zhang, Zhao, Canes, Steinberg &Lyashevska, 2019).

Parámetros importantes

Número de árboles (n_estimators ; def: 100 )

Tasa de aprendizaje

(tasa_de_aprendizaje ; def: 0.1)

Profundidad máxima

( max_depth; def: 3 ).

Modelo de aumento de gradiente extremo (XGBoost)

Técnicas de regularización

Contracción

Impulso del gradiente estocástico

Número de observaciones en hojas

Penalizar la complejidad del árbol

Tipo de GB con una técnica innovadora de búsqueda de árboles

Aplica la expansión de Taylor de segundo orden a la función de pérdida para sustituir la primera derivada a diferencia del GB de la siguiente forma

Ventajas

funciona para cualquier función de pérdida diferenciable

Puede manejar datos faltantes; no se requiere imputación

Desventajas

Sensible a valores atípicos

Tendencia sobre ajustarse si la cantidad de árboles es muy elevado