Long/Short Term Memory (LSTM)

Long/Short Term Memory (LSTM)

1. ¿Qué es?

   • Las redes Long Short-Term Memory (LSTM) son un tipo de redes neuronales recurrentes capaces de aprender la dependencia del orden en los problemas de predicción de secuencias.

2. Orígenes

   • Este modelo de red neuronal recurrente fue propuesto por Atkinson y Shiffrin en la Universidad de Standford con el propósito de superar los errores que generaban los algoritmos de aprendizaje Back-Propagation Through Time (BPTT) y Real-Time Recurrent Learning (RTRL), el cual generaban señales de error fluyendo hacia atrás en el tiempo que tienden a explotar o a desvanecerse.

3. Principales Capacidades

   • Son usados para combatir el problema de la rápida perdida de información que se produce en las células recurrentes
   • Las células LSTM son capaces de almacenar 4 estados: el valor actual y último de la salida así como también los valores actuales y finales del estado de la "célula de memoria"
   • Cada neurona tiene una célula de memoria y tres puertos: Input, Output, Forget. La función de estos puertos es salvaguardar la información deteniendo o permitiendo el flujo de la misma.

4. Aplicaciones

   • Máquinas de Traducción
   • Reconocimiento de Lenguaje
   • Composición de música primitiva
   • Procesos en el que se necesita un aprendizaje de secuencias complejas.

5. Algoritmo

   • Utiliza el algoritmo Backpropagation Through Time (BPTT)

6. Variantes

   • Deep LTSM
     • Se pueden crear apilando múltiples LSTM capas verticalmente, con la secuencia de salida de una capa formando la secuencia de entrada de la siguiente (además de conexiones recurrentes dentro de la misma capa)
     • Aumenta el número de parámetros pero con suficientes datos.
     • La deserción generalmente se aplica sólo a los bordes no recurrentes, incluyendo entre capas
   • Bidirectional LTSM
     • Los datos procesados en ambas direcciones son ejecutados por dos capas ocultas separadas, que a su vez son feedforward en la misma capa de salida.
     • Las RNN bidireccionales pueden explotar mejor el contexto en ambas direcciones, por ejemplo. los LSTM bidireccionales funcionan mejor que los unidireccionales en el reconocimiento del habla

7. Implementaciones

   • Software para:
     • Reconocimiento y generación de escritura
     • Traductores de lenguajes
     • Análisis de Audio Y Video
     • Componer música

Imágenes y archivos del mapa