NL-152, Stylized Knowledge-Grounded Dialogue Generation via Disentangled Template Rewriting, NAACL 2022

0. Abstract

  • 현재 KDG(Knowledge-Grounded Dialogue Generation) 모델은 합리적이고 사실적인 응답을 생성하는 데 특화되어 있습니다. 
  • 그러나 사용자와 long-term relationships를 구축하기 위해서는 KDG 모델이 원하는 스타일이나 감정으로 응답을 생성할 수 있는 기능이 필요합니다. 
  • 따라서 우리는 새로운 문제인 SKDG(Stylized KnowledgeGrounded Dialogue Generation)를 연구합니다.
  • 그것은 두 가지 과제를 제시합니다. 
    • (1) 트리플을 사용할 수 없는 SKDG 모델을 훈련하는 방법. 
    • (2) 양식화된 응답을 생성할 때 컨텍스트와 일관성을 유지하고 지식을 보존하는 방법. 
  • 이 논문에서는 얽힌 스타일 템플릿(단일 언어 양식 코퍼스에서)과 콘텐츠 템플릿(KDG 코퍼스에서)을 결합하여 응답을 생성하는 새로운 DTR(disentangleed template rewriting) 방법을 제안합니다. 
  • 전체 프레임워크는 엔드 투 엔드 미분 가능하고 감독 없이 학습됩니다. 
  • 두 가지 벤치마크에 대한 광범위한 실험은 DTR이 이전의 최첨단 양식 대화 생성 방법과 비교하여 모든 평가 메트릭에서 상당한 개선을 달성했음을 나타냅니다. 
  • 또한, DTR은 표준 KDG 평가 설정에서 최신 KDG 방법과 유사한 성능을 달성합니다.

1 Introduction

  • 모든 훌륭한 대화 에이전트는 지식이 풍부하고 맥락과 일치할 뿐만 아니라 풍부하고 바람직한 스타일과 감정을 가진 좋은 응답을 생성하는 능력이 필요합니다(Rashkin et al., 2018; Smith et al., 2020; Zhou et al., 2020).
  • 이러한 에이전트는 다양한 주제에 대한 심도 있는 대화를 제공하고 더 매력적이고 생생한 대화를 생성하여 더 많은 사용자를 유치할 수 있습니다. 
  • 즉, 이성적 사고와 지각적 사고는 모두 완벽한 대화 주체에 필요합니다. (rational and perceptual)
  • 그럼에도 불구하고 대부분의 기존 지식 기반 대화 생성(KDG) 방법은 전자에 더 많은 관심을 기울이고 후자를 무시합니다. 
  • 구체적으로 우리의 동기를 주장합시다.
  • 이전의 KDG 작업은 주로 지식을 선택하고 그에 대한 정확한 응답으로 지식을 표현하는 데 중점을 둡니다.
    • 그러나 지식에 대한 과도한 강조는 KDG 모델이 구조화되지 않은 지식(예: Wikipedia)에서 큰 부분을 기계적으로 복사하는 경향이 있습니다.
    • 결과적으로 KDG 모델의 응답은 "현학적(pedantic)" 스타일(즉, 매우 기술적인 용어와 언어 사용)을 반영하여 대화를 덜 매력적이고 덜 자연스럽게 만듭니다.
  • 이 논문에서 우리는 위의 문제를 해결하기 위해 양식화된 텍스트 생성을 KDG에 통합하려는 첫 번째 시도를 하는 것을 목표로 합니다.
  • 그림 1과 같이 KDG 모델은 컨텍스트와 관련 문서를 입력으로 받아 예의에 상응하는 지식이 있지만 현학적인 반응을 출력하여 사람들을 존중하고 편안하게 만듭니다.

  • 한편, 정중하고 긍정적인 반응은 모두 밝고 생동감 있는 스타일로 응답의 핵심 의미를 압축할 수 있을 뿐만 아니라 사용자에게 호소력 있는 사운드로 더 많은 노출과 기억에 남을 수 있습니다.
  • 특히, 우리는 새로운 문제를 공식화합니다:  Stylized Knowledge-Grounded Dialogue Generation (SKDG). 
    • 즉, 모델이 제공하는 응답은 대화 컨텍스트와 일관성이 있어야 하고 주어진 지식 및 지정된 스타일 또는 감정과 일치해야 합니다.
  • 도전 과제는 다음 두 가지 측면에 있습니다.
    • (1) 정형화된 지식 기반 대화 트리플(즉, <context, knowledge, stylized response>)이 없기 때문에 독립적인 지식 기반 대화와 대상 스타일 또는 감정을 가진 단일 언어 코퍼스에 의해 공동으로 SKDG 모델을 훈련해야 합니다.
    • (2) 맥락과 일치하고 대상 스타일/감정과 일치하는 것 외에도 SKDG의 좋은 응답은 지식 섹션에서 객관적인 정확성을 보장해야 합니다.
  • 특히 주어진 지식에 스타일 관련 콘텐츠가 포함된 경우 기존 SDG(양식 대화 생성) 모델(Zheng et al., 2020; Ze et al., 2020)은 지식 섹션의 정확성을 훼손할 수 있습니다.
  • 예를 들어, 그림 3과 같은 부정적 감정 전환의 경우 KDG 응답의 처음 두 개의 부정적인 부분인 "잔인한 것을 싫어함"과 "끔찍함"은 긍정적인 부분으로 수정되어야 하지만 세 번째 "나쁨"은 수정되어야 합니다. 
  • 지식 섹션의 원래 의미를 유지하기 위해 유지됩니다.
  • 따라서 우리의 동기는 다음과 같습니다. 
    • 한편으로는 분리된 템플릿을 공유하여 별도의 지식 기반 응답 생성과 양식화된 재작성을 연결합니다(도전 문제 해결(1)). 
    • 다른 한편, 강화 학습 접근법을 사용하여 주어진 지식에 대한 충실도를 향상시킵니다(도전 해결(2)).
  • 이 목표를 달성하기 위해 우리는 생성-분리-재작성(Generate-Disentangle-Rewrite)이라는 새로운 패러다임을 제안합니다. 
  • 첫째, 대화 맥락과 관련 외부 지식이 주어지면 KDG 모델을 채택하여 응답을 생성합니다.
  • Then as shown in Figure 2 and 3, we leverage a sequential style disentangler to delete style-related fragments from the KDG response to form a style-agnostic template. 
  • 그런 다음 재작성기는 전체 템플릿을 토큰별로 다시 작성하고 프로세스에서 스타일 관련 단편을 주입하여 원하는 스타일로 생생하고 유익한 응답을 생성합니다.
  • style disentangler와 style rewriter에 대한 감독이 없기 때문에 style intensity reward와 semantic similarity reward를 사용하여 end-to-end 방식으로 style disentangleling과 style rewriting을 훈련하는 강화 학습 기반 방법을 제안합니다.
    • 그림만 봐서는 style disentangle 부분이 미분이 안되는데..?
    • 미분가능한 트릭을 넣는건가?
  • 두 모듈의 거대한 공동 작업 공간은 훈련에 취약하므로 우리는 disentangler와 rewriter를 모두 초기화하기 위해 새로운 약하게 감독된 스타일 템플릿 disentangle 방법을 제안합니다.
    • 소량의 데이터가 있는건가?
  • 결과적으로 우리의 방법은 쌍을 이루는 훈련 데이터 없이 원하는 스타일로 지식이 풍부한 응답을 성공적으로 생성합니다.
  • "Disentangled Template Rewriting"을 의미하는 DTR 모델 이름을 지정합니다. 
  • Wizard of Wikipedia 및 Topical Chat의 지식 기반 대화를 사용하여 이 접근 방식을 시연합니다.
    • Topical Chat는 뚜렷한 감정(긍정, 부정)과 스타일(공손)이 있는 세 가지 문장 세트로 구성됩니다.
  • 자동 및 인간 평가는 우리의 방법이 더 강력한 문체 특징을 렌더링하면서 일관되고 지식이 풍부한 대화 응답을 생성하는 데 큰 마진으로 경쟁 기준을 크게 능가함을 보여줍니다.
  • Our contributions are three-fold: 
    • (1) To the best of our knowledge, it is the first work on the generation of stylized knowledge-grounded responses without any labeled paired data for style-specific context-knowledge-response. 
    • (2) We proposed a stylized knowledge-grounded dialogue generation method via disentangled template rewriting. 
      • To optimize the model, we propose a reinforcement learning approach with a novel weakly supervised method to guide the learning of both disentangler and rewriter. 
    • (3) Extensive experiments on two benchmarks indicate that DTR significantly outperforms previous state-of-the-art SDG methods on all evaluation metrics. 
  • Besides, DTR achieves comparable performance with the state-of-the-art KDG methods in the standard KDG evaluation setting. 
  • Our source code will be released at https:// github.com/victorsungo/SKDG-DTR.

2 Related Work

3 Task Definition

  • SKDG 작업의 경우, 우리 모델은 대화 데이터 세트 Dc = {(Ki , Ui , Yi)}N i=1 및 스타일 말뭉치 Ds = {Ti} M i=1 에 대해 학습됩니다. 여기서 ∀(Ki , Ui , Yi ) ∈ Dc, 
    • Ui는 대화 컨텍스트, 
    • Ki는 Yi에 대한 관련 지식을 포함하는 외부 문서, 
    • Yi는 Ui에 대한 응답, 
    • ∀Ti ∈ Ds, Ti는 대상 스타일 S의 텍스트 조각입니다.
  • 우리는 스타일이나 감정 S로 표현된 Y ′와 함께 트리플 {(K, U, Y ′ )}가 있다고 가정하지 않습니다(예: S = {“예의”, “긍정적”, “부정적”}).
  • 우리의 목표는 Dc와 Ds를 사용하여 생성 방법 P(Y ∣K, U, S)를 배우는 것이므로 문서 K와 컨텍스트 U가 주어지면 원하는 스타일 S에 따라 응답 Y를 생성할 수 있습니다. 
    • 여기서 Y는 또한 맥락과 일치하고 지식을 보존합니다.

4 Approach

  • SKDG 작업을 위한 효과적인 분리된 템플릿 재작성 모델을 배우기 위해 몇 가지 과제를 처리해야 합니다.
    • (1) 감독 없이 주어진 문장에서 스타일 관련 단편을 구별하는 방법;
    • (2) 완전성을 방어하기 위해 knowledge 섹션에서 스타일 관련 단편을 유지하는 방법;
    • (3) 얽힌 템플릿을 몇 가지 스타일 단어를 삽입하는 대신 전체적으로 다시 작성하여 유창함과 다양성을 향상시키는 방법.
  • 우리의 DTR 모델은 지식 기반 응답 생성기 GG, 순차 스타일 분리기 F 및 스타일 재작성기 GR로 구성됩니다.
  • 대화 컨텍스트 U 및 관련 지식 K가 주어지면 먼저 GG를 사용하여 응답 Y를 생성합니다.
  • Figure 2 illustrates the cooperation of F and GR. 
  • 전자는 Y를 읽고 Y에서 스타일 관련 콘텐츠를 분리하여 스타일에 구애받지 않는 템플릿 시퀀스 Ỹ를 형성합니다. 이는 대상 스타일에서 전송된 응답 Yˆ를 생성하기 위해 GR에 대한 입력으로 추가로 제공됩니다.
  • Ỹ이 이산적이기 때문에 학습 F의 주요 장애는 기울기가 미분 불가능하다는 것입니다.
  • 문제에 대처하기 위해 GR의 신호를 활용하여 F를 최적화하기 위해 강화 학습 접근 방식을 활용합니다.
  • 그렇다면 Disentangler + Rewriter 아키텍처가 필요한 이유는 무엇입니까?
  • 이전 SDG 방법은 지식과 스타일을 혼합 표현으로 융합하고 응답을 디코딩합니다.
  • 감독되지 않은 설정에서 지식과 스타일을 암묵적으로 혼합하기 어렵기 때문에 디코딩 단계에서 지식이나 스타일을 잃을 수 있습니다.
  • 이에 동기를 부여하여 응답 생성을 두 개의 상대적으로 독립적인 프로세스로 분리할 것을 제안합니다.
    • 1) knowledge fragments generation 2) style fragments generation. 
  • 지식 단편과 스타일 단편은 최종 단계에서 응답으로 명시적으로 합성됩니다.
  • 이러한 방법은 지식이 최종 출력에 성공적으로 표시되도록 합니다.
  • disentangler는 분리 및 구성에서 중심 역할을 합니다. 다음에서는 각 구성 요소에 대해 자세히 설명합니다.

4.1 Model Architecture 




Reference

댓글

댓글 쓰기