NL-009, Attention Is All You Need (2017-NIPS)

이 논문에서부터 NLP의 판도가 반도가 바뀌는 시작점이라고 볼수도... Transformer의 탄생 논문이다.
내가 이 논문을 읽을 때도 포스팅이 많이 되어 있었지만, 그럼에도 이해가 안되는 부분이 있어서 나중에 제대로 정리를 해볼려고 했다. 특히 position embedding 부분.. 공개 code를 봐도 이해가 부족하였다. (개인적인 역량 탓인가..?ㅠ)

하지만 정리하려고 하는 이 시점에서 더욱 더 잘 설명되어 있는 글들이 많은 것 같아서.. 굳이 내가 정리를 할 필요가 없을 것이라 생각해서 reference들을 참고하길 바란다.
그 중에서도 Reference 한글 블로그자료를 보면 설명이 매우 잘 되어 있으니 저 블로그를 가서 읽자.

언제나, 정리된 자료만 보는 것보다는 이렇게 핫한 논문들은 한 번은 정독하는게 좋다고 생각하기에... 논문은 꼭 읽자!

Reference

• 논문: https://papers.nips.cc/paper/7181-attention-is-all-you-need.pdf
• (한글) 블로그자료: https://pozalabs.github.io/transformer/
• Attention is all you need paper 뽀개기 _ 포자랩스의 기술 블로그
• (영어) 블로그자료: http://jalammar.github.io/illustrated-transformer/
• Code level 설명: http://nlp.seas.harvard.edu/2018/04/03/attention.html#synthetic-data
• (가장 최근 본 자료) https://wikidocs.net/31379