AI Information

◼️ Comment 이 논문은 제목이 흥미로워 적용한 스킬들이 도움될 것 같아 읽어보았다. 크게 2가지 기술을 기억하면 될텐데, Dual learning과 Curriculum learning이다. 이 두 개념은 이 논문에서 처음 제안한 것은 아니고 가끔 봤던 기술들이지만 논문의 요지는 감정컨트롤 생성하는데 적용했다는 것이다. 기술전에, 테스크를 정리하자면 (q, 감정) --> (r, 감정) 이렇게 된 중국어 데이트세트이다. 즉 다른 감정 대화 데이터들과 다른 점은, 싱글턴이고 query에 감정 레이블이 주어진 경우이다. 물론 기존의 멀티턴 데이터에서도 싱글턴으로 샘플링해서 구축할 수는 있겠다. 강화 학습 보통 이런 대화모델 학습할 때, q->r 생성후 r을 discriminator에 통과시켜 backpropagation으로 학습할 수 있다. 하지만 이때, r과 discriminator 사이가 미분이 되어야하므로 soft embedding 등의 기법을 사용해볼 수 있다. 또 다른 방법으로는 강화학습으로 학습할 수가 있고 이 논문에서는 강화학습을 사용한 것이다. 즉, 여기서 reward을 선정해야된다. 먼저 감정 discriminator을 학습시킨다. 식 2,3: 감정 discriminator을 통해 레이블 감정이라고 판단하는 확률이 하나의 reward가 되고 다른 하나는 문장에 감정에 해당하는 단어가 얼마나 있는지가 된다. 여기서 문장에 감정 단어가 얼마나 있는지를 판단하는 것은 데이터 구성이 그렇게 되어있는것인가? 라는 의문이 있긴하다. 식 4: 생성된 response로부터 query을 재구성하는 확률을 reward로 사용한다. 이 reward는 generic한 반응등을 회피하려고 하는 것이다. 기술1) Dual Learning Dual Learning은 q->r 뿐아니라 r->q로 고려한다는 의미로 위에서 말한 것을 반대로 한다는 것이다. 즉 r을 입력으로 q를 생성해서 강화학습을 하겠다는 것이다. 근데 이 backward 모델을...