Funciones y optimizadores en CNN - created from Mind Map

Página 1

Binary Cross Entropy

Categorical Cross-Entropy

SGD Stochastic Gradient Descent

ADAM Adaptive Moment Estimation

Esta es una función que nos va a permitir saber el error (pérdida) que cometió la CNN a la hora hacer predicciones, basándose en la predicción que hizo con la regresión logística, de ahí que que sea binaria. Estas predicciones nos van a ayudar a saber si el modelo debe hacer ajustes en los pesos para mejorara en las predicciones.

L(y, y ^ ​ )=−(y⋅log( y ^ ​ )+(1−y)⋅log(1− y ^ ​ ))

Es una función de pérdida o error, que va enfocada en capas de salida donde hay multi clases, no binario. Estas capas contienen clases que han sido puntuadas con una probabilidad luego de ser analizadas por Softmax. El CCE se encarga de encontrar el error de solo la clase que fue mayormente puntuada. Con el fin de decidir si debe hacer algún ajuste con backpropagation

CCE=−i∑​yi​log(y^​i​)

Recordemos que el error se va situar en los puntos mínimos de la superficie de error que representa el SDG, entonces como no sabemos cuál es el lugar o punto más bajo (mínimo error) al que podemos ir, se van sacando derivadas que nos van dando el gradiente, pero como nosotros queremos el degradiente, hacemos negativo el gradiente. Esto se va haciendo por pasos por que no conocemos toda la superficie de error.

Nuevo peso=Peso actual−(Tamanio del paso×Inclinacion del error)

Es un método para optimizar los modelos de ML, se va ajustando la velocidad de aprendizaje en cada iteración o bien cada parámetro, usa el momento para recordar la dirección de los degrandientes anteriores, y también la adaptabilidad para ajustar el tamaño de los pasos. La base de ADAM es combinar momento y velocidad adaptativa para hacer o dar un paso óptimo.

m t ​ =β 1 ​ ⋅m t−1 ​ +(1−β 1 ​ )⋅gradiente v t ​ =β 2 ​ ⋅v t−1 ​ +(1−β 2 ​ )⋅(gradiente)^2 parametro nuevo ​ =par a ˊ metro viejo ​ −η⋅ v t ​ ​ +ϵ m t ​ ​