NL-005, Convolutional Neural Networks for Sentence Classification (2014-EMNLP)
이 논문도 NLP 초기에 읽었던 논문이고 엄청 유명한 논문이다. Sentence classification에 CNN을 적용한 논문이고 이를 이용하여 NLP에 CNN을 적용하는 여러 task에 적용이 되고는 한다. Kim이란 성을 가지신 분이고 매우 뛰어난 분이시던데 한국분이신가..교포신가.. 궁금 유명한 논문이라 정리된 글도 많지만 살짝 부족한 부분도 있는 것 같아서 내용 부분을 추가해보자... 0. Abstract Sentence-level classification을 위해 pre-trained word vector에서 CNN을 가지고 실험을 하였다. Word vector을 task-specific vector로 fine-tunning해서 성능이 좋아졌다. (non fine-tunning) Static vector과 task-specific vector을 혼합하여 사용하였다. 간단한 CNN 구조만으로 성능이 7개중 4개의 SOTA을 찍었다. 1. Introduction NLP에서 많은 연구 방법이 LM 모델로 word vector을 학습하고 learned word vector을 classification에 사용하였다. 기존에는 one-hot encoding을 사용하기도 하였다. 하지만 이는 sparse하고 semantic feature을 담고있지 않는다. CNN은 원래 local feature을 뽑는 것이고 영상에 사용되는 방법이다. 하지만 효과적으로 semantic parsing, search query retrieval, sentence modeling, traditional NLP tasks에 적용하여 좋은 결과를 도출하였다. 기학습된 word vector을 가져와서 convolution layer 한 개를 붙였다. 첫 번째로 keep the word vector하고 hyper parameter을 약간만 학습시켜서 좋은 연구 결과를 얻었다. 즉 pre-trained vector...