NL-044, BERT을 이용한 한국어 문장의 스타일 변화 (2019-HCLT)

0. 간단 설명

  • 2019년 HCLT(한글 및 한국어 정보처리 학회)에 제출했던 논문이다.
  • 한글 논문이니 굳이 요약을 할 필요는 없을 것 같고..
  • 간단히 말하면, BERT을 encoding 단에서 써서 해보고 싶었고 간단히 적용해본 논문이다.
  • Style transfer의 핵심인 content preserving 문제는 back-translation을 이용하여 해결하려했다.
  • 하지만 생각보다 back-translation은 BERT와 접목시키기 쉽지 않았던게 encoder부분은 bert embedding이고 decoder 부분은 word embedding 이기 때문에 왔다 갔다 할 때 불편하다.
    • 이론상으로는 안될 것은 없지만,,, 코딩을 할 때 생각해보면 bert의 feature_extraction은 문장을 입력받아야 하기 때문에 생성된 문장을 encoder에 넣기 위한 과정에서 discrete한 문제가 발생한다..
    • 따라서 디코더의 생성에서 classifier로 넘길 때는 word embedding을 사용한 것

1. 모델 그림


2. 실험 결과 (일부분)


  • Discriminator 성능
  • 긍정문장에서 생성하기
    •  
  •  부정문장에서 생성하기
    •  
  •  실패 case
  • 비교 논문의 생설결과 vs 본 논문의 생성 결과 (순서대로)
  • Latent space walking
Reference

댓글

댓글 쓰기