NL-001, RNN & LSTM

• RNN과 LSTM은 언어 처리 연구에서는 당연히 필수적으로 알아야하고, 영상 처리 및 다양한 AI 분야에서도 쓰이는 네트워크 구조이다.
• 나또한 이 논문을 읽지는 않았고 잘 정리된 블로그, 혹은 실습등으로 모델의 흐름을 배웠다.
• 가장 기본으로 참고했던 사이트는 ref1 이다.
• 그 외에도 이와 관련되어 잘 정리된 자료는 수 없이 많을테니... 구글링 해보면 다 알 것이다.
• 추가적으로 RNN에 relu을 써보기 + GRU와 같은 변형 등등 수 많은 논문들이 있다.
• 이러한 모델 관련된 실험들은 개인적으로 찾아보면서 RNN에 대한 이해를 도우면 될 것이다.
• 논문 전체를 다 읽을 필요는 없고 실험 부분만 따로 보거나 사람들이 질문하는 reddit과 같은 다양한 오픈 커뮤니티에 많은 자료들이 있는 것 같음!

Reference

• 블로그 자료: https://colah.github.io/posts/2015-08-Understanding-LSTMs/
• RNN 논문: https://www.fit.vutbr.cz/research/groups/speech/publi/2010/mikolov_interspeech2010_IS100722.pdf
• LSTM 논문:  http://web.eecs.utk.edu/~ielhanan/courses/ECE-692/Bobby_paper1.pdf