Autoencoders

Auto encoder

¿Que són?

Un tipo de red neuronal que son entrenadas para intentar copiar su entrada a su salida

¿Cuál es su origen?

Han sido parte de la historia de las redes neuronales por décadas, Tradicionalmente se usaban para la reducción de la diensionalidad y el aprendizaje de las características.

red neuronal que tiene tres capas: una capa de entrada, una capa oculta (codificación) y una capa de decodificación. La red está entrenada para reconstruir sus entradas, lo que obliga a la capa oculta a tratar de aprender buenas representaciones de las entradas.

¿Cómo funcionan?

Usa un algoritmo de aprendizje no supervisado que aplica propagación hacia atras.

Desafortunadamente no se usan ampliamente en aplicaciones del mundo real, pero algunos de los casos donde se pueden usar son:

Eliminacion de ruido en fotos, compresión de fotos, reducción de dimensionalidad.

Aplicaciones

Tipos

La idea detrás de autoencoders de eliminación de ruido es simple. Para forzar a la capa oculta a descubrir características más robustas y evitar que simplemente aprenda la identidad, entrenamos el autoencoder para reconstruir la entrada de una versión dañada de la misma.

Tipo de aprendizaje y algoritmo

Denoising autoencoder

Contractive autoencoder

Sparse autoencoder

Variational Autoencoder

Un tipo de red neuronal que son entrenadas para intentar copiar su entrada a su salida

son muy similares a los autoencoders de eliminación de ruido. Ambos fomentan la robustez pero, mientras que los autoencoders que anulan el ruido, lo alientan con la reconstrucción los autoencoders contractivos lo hacen con la función del codificador

Existen dos formas de forzar la autoencoder aprendan características útiles: mantener el tamaño pequeño código y eliminación de ruido autoencoders. El tercer método es usar la regularización. Podemos regularizar el autoencoder utilizando una restricción de dispersión de manera que solo una fracción de los nodos tenga valores distintos de cero, llamados nodos activos.

Utilizan un mecanismo de preentrenamiento no supervisado en sus capas, donde una vez que cada capa está pre-entrenada para realizar selección y extracción de características en la entrada de la capa anterior, puede seguir una segunda etapa de ajuste fino supervisado. SDA es simplemente un autoencoder de eliminación de ruido múltiple encadenado. Una vez que las primeras k capas están entrenadas, podemos entrenar la capa k + 1-ésima porque ahora podemos calcular el código o la representación latente de la capa siguiente.

Es un autoencoder el cual entrena con un critero de restricción o penalización de dispersión

Ω(h) en la capa de código h, además la reconstrucción del error:

L(x, g(f(x))) + Ω(h)

aprende los parámetros de la distribución de probabilidad modelando los datos de entrada, en lugar de aprender una función arbitraria en el caso de los autoencoders de vainilla

La idea de este codificador es hacer mas robusta la representación aprendida al rededor de pequeños cambios en los ejemplos de entrenamiento.

La función de perdida es similar a los otros codificadores, solo cambia en la penalizacion, se necesita calcular la matriz jacobiana de la representación con respecto a los datos de entrenamiento