Trend-001, A Primer in BERTology: What we know about how BERT works (2020.02.22-Arxiv)

■ 논문 정보

• 링크: https://arxiv.org/abs/2002.09758
• 저자
• Ethan Perez(1,2), Patrick Lewis(1,3), Wen-tau Yih(1), Kyunghyun Cho(1,2,4), Douwe Kiela(1)
• (1) Facebook AI Research, (2) New York University, (3) University College London, (4) CIFAR Azrieli Global Scholar
• 2020.02.22 아카이브 출시

■ 요약

• 어려운 질문의 question answering (QA) 문제를 쉬운 sub-questions으로 분해해서 QA시스템이 답을 찾도록 하자.
• labeled된 decompositions을 구성하는 것은 번거롭기 때문에 unsupervised 방버으로 sub-questions을 생성하는 접근법을 제시한다.
• 특히, Common Crawal의 1,000만 개 이상의 질문을 활요하여 multi-hop questions을 single-hop sub-questions의 분포로 매핑하는 방법을 배운다.
• 따라서 sub-questions에 대해 QA 모델이 답변을하고 이것을 downstream에서 multi-hop QA 시스템이 합치게 된다.
• 유명한 HOTPOT-QA에서 성능이 baseline에 비해 크게 향상하고 특히 adversarial 이거나 out-of-domain에 대해 효과가 좋았다.
• 우리의 방법은 일반적으로 적용가능하고 자동으로 다른 class의 questions을 분해하는 방법을 배운다.
• 이는 사람의 engineering과 annotation에 크게 의존하는 방법들과 성능이 일치한다.
• 
•