라벨이 Meta Learning papers인 게시물 표시

Meta-004, Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks (ICML-2017)

이 논문은 상당히 유명하고 인용수만 3천이상.. NL-103에서 이 기법을 사용해서 찾아보았고 한국어로 리뷰한 내용도 많고 하니 아래 자료들을 참고하는게 효율적이다. 논문:  https://arxiv.org/pdf/1703.03400.pdf 유튜브:  https://www.youtube.com/watch?v=fxJXXKZb-ik&t=5s 발표자료:  http://dmqm.korea.ac.kr/activity/seminar/265 개념자료:  https://chioni.github.io/posts/maml/ 개념자료:  https://chioni.github.io/posts/mamlp/ 코드참고:  https://github.com/vmikulik/maml-pytorch

NL-103, Domain Adaptive Dialog Generation via Meta Learning (2019-ACL)

이미지
◼️ Comment 이 논문의 요지는, 제목처럼 meta learning으로 데이터가 적은 상황의 도메인에 대한 대화 시스템을 학습하는 것이다. meta-learning 기법은 DAML을 사용하였는데, 즉 DAML을 모르면 이 논문 자체를 이해하기가 어렵다. 개인적으로는 DAML을 몰라서 좀 살펴보고, 이어서 읽었고 여기서 DAML의 알고리즘을 거의 그대로 적용한 느낌이다. 사실 DAML 기법인 다른 도메인에 해당하는 meta dataset으로 모델들을 학습하여 target 도메인에서 모델을 학습하는 것이다. 모델 구조 모델 구조는 seq2seq 구조에 몇가지가 추가 된다. 첫 번째로 단순히 context+utterance -> response 식이 아니라 belief란 개념을 이용한다. belief는 대화에서 나온 slot 정보들이라고 판단되고 테이블3을 참고하면 될 것 같다. belief tracking에서 따온 개념인 것 같은데 자세한 것은.. 스킾 추가적으로 copy 메커니즘을 쓴 정도가 있겠다. 0 Abstract Domain adaptation은 매일 다양한 요구에 따라 생성되는 새로운 대화 테스크들이 너무 많기 때문에 대화 시스템 구축에서 필수적인 작업입니다. 새로운 테스크들에 대한 학습 데이터를 수집하고 레이블링하는 것은 실사용자 상호작용과 연관되어있기 때문에 비싸다. 우리는 meta-learning을 기반한 domain adaptive 대화 생성 방법을 (DAML) 제안한다. DAML은 end-to-end 학습가능한 대화 시스템 모델로 여러 풍부한 리소스 테스크들로부터 학습이되고나서 새로운 도메인에 적은 학습 샘플들로 적용한다. 우리는 대화 도메인에 model agnostic meta-learning 알고리즘을 적용하여 대화 시스템 모델을 여러 풍부한 리소스 single 도메인 대화 데이터 를 사용해서 학습한다. 모델은 효율적인 방법으로 적은 학습 예제만을 가지는 새로운 도메인에서 경잭력있는 대화 시스템을 학습할 수 있는 능력을 가진다....