NL-066, End-to-End Content and Plan Selection for Data-to-Text Generation (2018-INLG)

0. Abstract

  • 뉴럴 네트워크를 사용하여 structured data으로부터 유창한 언어 생성을 학습하는 것은 일반적인 NLG의 접근법이다.
  • 예시들 사이에서 structured data의 형식이 변화할때 이 문제는 챌린지하다.
  • 이 논문은 여러 확장 버전의 seq2seq 모델을 조사와 latent content selection 과정을 설명하기위해 특별히 variants of copy attention and coverage decoding을 제시한다.
  • 우리는 더 나아가서 diverse 앙상블을 기반으로하는 학습 방법을 제안하고 모델이 distinct sentence templates을 학습과정에서 배우도록 장려한다.
  • 이러한 기술들의 경험적 평가는 automatic metrics 5개와 사람의 평가에서 생성된 텍스트의 품질 증가를 보여준다.

1 Introduction 

  • 최근 개발은 뉴럴네트워크의 end-to-end 학습으로 복잡한 structured 입력으로부터 (이미지 혹은 테이블 등) textual 출력을 생성이 가능하도록 한다.
  • 이러한 방법들은 text-generation 모델의 생성을 가능하도록 하고 이 모델은 multiple key-value attribute 쌍을 조건으로 한다.
  • 유창한 text 조건부 생성은 다양한 챌린지를 제기한다.
    • 모델이 담화에 적절한 content를 선택해야 하기 때문
    • 선택한 모든 정보에 맞는 문장의 레이아웃을 개발해야하기 때문
    • 컨텐츠를 통합하는 유창한 언어를 생성해야하기 때문
  • End-to-end 방법들은 이미 복잡한 데이터로를 sentence planning과 surface realization을 동시에 배우기위해 점점 적용되고 있으나 데이터의 가능성의 한계 때문에 제약이 있다.
  • 최근 데이터세트의 생성은 (E2E NLG 데이터세트와 같은) text generation의 고도화된 방법을 제공하는 기회를 주었다.
  • 이 연구에서는 MR로부터 언어를 생성하는 것에 초점을 맞춘다. (그림1 참고)
  • 이 task는 MR과 utterance의 semantic alignment을 학습을 요구하며 MR은 다양한 수의 attributes을 포함할 수 있다.
  • 최근에, end-to-end 생성은 seq2seq 모듈이 일부 정보를 encode하고 원하는 format을 decode 하도록 처리되고 있다.
  • 요약의 확장과 다른 task들은 입력으로부터의 words을 복사하여 문장 생성에 넣는 메커니즘으로 연구되어 왔다.
  • 우리는 E2E NLG 테스크에서 copy 메커니즘과 함께 강력한 S2S 모델로 시작하였고 생성된 문장의 길이와 어떻게 많은 입력을 모델이 사용할지에 대해 컨트롤하는 방법을 포함하였다.
  • 마침내, 우리는 S2S의 다양성을 대체한 Transformer 구조의 결과를 설명한다.
  • 우리는 이러한 확장들이 text generation과 content selection을 이끄는 것을 보여준다.
  • 우는 더 나아가서 diverse ensembling을 기반으로하는 학습 접근법을 제시한다 (GuzmanRivera et al., 2012).
  • 이 테크닉에서는 모델을 훈련시키는 과정에서 training 데이터 분할되어 여러 개의 모델들들로 학습되어 각각 distinct sentence 템플릿을 따르게 된다.
  • 우리는 이러한 접근법이 생성된 문장의 quality을 증가시킬뿐만 아니라 학습 데이터의 아웃라이어를 처리하는 학습 과정의 robustness도 증가시킴을 보여준다.
  • E2E NLG 챌린지에서 실험은 진행되었다.
  • 우리는 테크닉들이 multiple strong S2S 베이스라인 모델에서 BLEU, NIST, METEOR, ROUGE, CIDEr의 자동 평가에서 생성된 문장의 퀄리티 증가를 보여준다.
  • 챌린지에 제출된 60개 사이에서 우리의 접근법은 METEOR, ROUGE, CIDEr 스코어에서 1등이고 BLEU에선 3등, NIST는 6등임을 보여준다.

2 Related Work































Reference

댓글

댓글 쓰기