Trend-006, Pre-trained Models for Natural Language Processing: A Survey (2020.03.18-Arxiv)

■ 논문 정보

• https://arxiv.org/pdf/2003.08271.pdf
• 저자
• Xipeng Qiu, Tianxiang Sun, Yige Xu, Yunfan Shao, Ning Dai, Xuanjing Huang
• School of Computer Science, Fudan University, Shanghai 200433, China; Shanghai Key Laboratory of Intelligent Information Processing, Shanghai 200433, China
• 2020.03.24 아카이브 출시

■ 요약

• 이 논문은 서베이 논문으로 길이가 ref 빼고 18 pages가 된다..
• 그래서 간단 요약으로 끝내기에는 너무 많은 내용이고 서베이 논문이다 보니 많은 양을 담고 있다.
• 따라서 관심있으신 분들은 궁금한 부분을 찾아서 읽어보시길..
• 이 포스팅에는 그림과 표만 첨부하겠다.
• 그림과 표만으로도 많은 정보를 얻을 수 있으니!
•  
•  
• 

• 정말 잘 정리한 도식표의 느낌이다.
• 이렇게 보니 정말 방대하다는...이 끝은 어딜까

• 
• 

• 모델 경량화 부분을 따로 정리했었지만, BERT의 quantization과 pruning 부분의 논문은 거의 없어서 읽어보지 못했는데 여기서 말해준 논문을 시간될 때 한번 참고하면 좋을 것 같다.

• 
• 
• 
• 
• FlairNLP, AllenNLP도 있는 것은 처음 알았음 (기회가 되면 써보자)
• FastNLP는 중국어로 설명이라... 패스
•