David Kaumanns 	Tue, Aug 4, 2015 at 4:33 PM
To: Alexander Fraser

Hi Alex,

Wenn ich 4 LSTM-Paper empfehlen müsste, dann die Folgenden. In der Reihenfolge.

Speziell "A Search Space Odyssey, 2015“. Für euch sind die ersten Seiten interessant, dazu die Zusammenfassungen und Graphiken im Appendix.

„A generalized LSTM-like training algorithm…“ hat ebenfalls eine sehr gute Einführung in LSTMs. Das Paper hatte wir in einer Reading Group schon einmal besprochen.

David

---

Greff, K.; Srivastava, R. K.; Koutnik, J.; Steunebrink, B. R. & Schmidhuber, Jü. LSTM:
A Search Space Odyssey, 2015
http://arxiv.org/abs/1503.04069
(really nice and concise explanations + appendix)

Monner, D. & Reggia, J. A.
A generalized LSTM-like training algorithm for second-order recurrent neural networks Neural Networks, 2012,
http://www.cs.umd.edu/~dmonner/papers/nn2012.pdf
(very insightful explanations, suggests a different view on the architecture for a more efficient implementation)

Gers, F. A.; Schraudolph, N. N. & Schmidhuber, Jü.
Learning precise timing with LSTM recurrent networks, 2003
http://www.jmlr.org/papers/volume3/gers02a/gers02a.pdf

Sundermeyer, M.; Schlüter, R. & Ney, H.
LSTM Neural Networks for Language Modeling, 2012
http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.248.4448&rep=rep1&type=pdf
(They cite another paper from Graves & Schmidhuber that contains the equations/topology.)