ETRI 데이터세트 및 BERT 모델

• ETRI에서 연구한 BERT모델을 공개하였다.
• 연구용으로 신청하여 모델을 다운받을 수 있다고 하고 여기서 데이터도 같이 공개를 하였다.
• 데이터 설명은 다음과 같다.
• 
• BERT 모델은 다음과 같다.
• 
• Hidden layer보면, BERT-base을 기반으로 만든 것 같고 cased 모델을 쓴 것으로 봐서 대소문자 구분을 하는 식이라는 것이다.
• BERT을 구축할 때, Large 모델은 상당히 오랜 학습시간이 걸리고 1024 dimension은 다루기 커서 그런지 실용적으로는 Base 모델이 괜찮을 것 같긴 하다.
• 자세한건 홈페이지 참고하자~

Reference

• http://aiopen.etri.re.kr/service_dataset.php