Trend-004, Data Augmentation using Pre-trained Transformer Models (2020.03.04-Arxiv)

■ 논문 정보

• 링크: https://arxiv.org/pdf/2003.02245v1.pdf
• 저자
• Varun Kumar, Ashutosh Choudhary, Eunah Cho
• Amazon Alexa AI
• 2020.03.04 아카이브 출시

■ 요약

• 최근 pre-trained model BERT와 같은 여러 NLP tasks에서 큰 차이로 좋은 성능을 보여준다.
• 이 논문에서는 pre-trained transformer 기반의 모델 (GPT-2, BERT, BART) 으로 conditional data agumentation을 연구한다.
• 여기서 text 문장에 class labels을 추가하는 것이 데이터 증강을 위해 pre-trained model에 조건을 주는 간단하고 효과적인 방법이다.
• 3가지 classification benchmarks에서 pre-trained Seq2Seq 모델은 다른 모델들보다 성능이 좋다.
• 또한 data diversity에 관점에서 다른 pre-trained model에 따라 데이터 증강이 어떻게 달라지는지 관찰한다.
• 그리고 이러한 방법이 class-label 정보를 얼마나 보존하는지도 확인한다.
• 
• 
• 결과를 보면 BART가 제일 좋다.
• pre-trained model 중에 내가 지금까지 읽은 모델 중 BART가 SoTA였는데 pre-trained 모델의 성능이 좋을수록 데이터 증강 효과가 큰가 보다.