NL-301, ARR 202510

NL-284, 2506 ARR Review4

제목: Data Generation Disguised as Style-Transfer: The LLM Perspective

Abstract

대규모 언어 모델(LLM)을 이용한 데이터 생성과 스타일 전이의 가능성에 대한 관심이 연구 커뮤니티에서 증가하고 있다. 본 논문에서는 원본 스타일과 목표 스타일의 개념적 이해를 위해 스타일 전이 모델 후보들을 조사하고, 데이터가 부족한 상황에서 새로운 데이터를 생성하기 위한 잠재적 활용 가능성을 검토한다. 우리는 스타일을 구별할 수 있는 모델이 특정 스타일의 텍스트를 생성하도록 제어될 수 있음을 관찰하였다.

데이터가 부족한 시나리오에서는 충분한 인스턴스의 부재로 연구가 어려워질 수 있는데, 본 연구에서는 대규모 언어 모델이 이런 상황에서 데이터를 생성해 예비 연구를 진행하는 데 사용될 수 있는지 탐구한다. 먼저, 데이터 부족 상황에서 LLM이 효과적인 도구가 될 수 있는지 질문하며, LLM이 서로 다른 스타일로 쓰인 텍스트들을 구분하는 능력을 양적으로 평가하고, 특정 스타일 A의 텍스트가 주어졌을 때, LLM이 개입을 통해 텍스트의 스타일을 바꿀 수 있는지를 질적으로 평가한다.

마지막으로, 사람이 직접 작성한 대규모 텍스트 컬렉션을 구축하기 어려운 GENZ(Generation Z) 특유의 독성을 표현하는 사례 연구에 본 접근법을 적용하였다.

1 서론

텍스트 스타일 전이(Textual Style Transfer)는 텍스트의 핵심 의미를 유지하면서 문장의 스타일적 속성을 변형하는 작업이다(Mukherjee 등, 2024b). 스타일 전이는 캐주얼한 문장을 형식적인 문장으로 바꾸기(Gupta 등, 2023), 독성 문장을 비독성으로 바꾸기(Mukherjee 등, 2024a), 직유를 활용한 표현 생성(Chakrabarty 등, 2020), 주관적 편향성을 중립화하는 작업(Pryzant 등, 2020), 감각적 스타일에 대한 탐구(Khalid와 Srinivasan, 2022) 등과 같이 별도의 도메인으로 폭넓게 연구되어 왔다(Horvitz 등, 2024; Ostheimer 등, 2023). 또한 실질적인 응용 사례로 복잡한 용어를 단순화하는 작업(Manor와 Li, 2019), 대화 에이전트의 문화적 적응(Roy 등, 2023) 등 다양한 분야에서 활용된다.

그러나 특정 언어적 특성을 가진 데이터를 처음부터 구축하는 것이 어려운 데이터 부족 상황에서 스타일 전이를 활용하는 연구는 매우 제한적이었다(예: Chen 등, 2022). 한편, 원하는 내용이 포함되었지만 다른 스타일로 작성된 텍스트 데이터는 풍부하게 존재한다. 이에 우리는 LLM(대규모 언어 모델)이 기존의 텍스트 데이터를 원하는 언어적 특성을 지닌 형태로 스타일 전이를 수행하여 새로운 데이터로 변환할 수 있는지 탐구한다. 이를 위해 우선 모델의 내부 작동 원리를 철저히 조사하여(von Rutte 등, 2024), 모델이 목표 스타일을 내재적으로 이해하고 있는지를 면밀히 확인할 필요가 있다.

본 연구에서는 먼저 대규모 언어 모델의 잠재 표현 공간(latent representation space)에 깊이 접근하여, 다양한 스타일의 미묘한 차이를 포착하는 스타일별 하위 공간(subspace)이 존재하는지 확인한다. 각 스타일별 하위 공간의 높은 분리 가능성(high separability, 낮은 중첩)은 LLM이 스타일 전이 작업에 잠재적으로 뛰어난 능력을 보일 수 있음을 시사한다. 만약 분리 가능성이 상당히 높게 나타난다면, 스타일 전이 과정을 신뢰성 있게 제어하여 원하는 스타일의 강도를 조정할 수 있는지 추가적으로 질문할 수 있다. 우리는 기존의 스타일에서 원하는 스타일로 방향적 전환(directional shift)을 통해 이러한 개입(intervention)을 탐색한다.

Figure 1은 매우 불쾌한(obnoxious) 스타일로의 예시 전환을 보여주는데, 이 예시를 통해 모델이 Generation Z 특유의 언어적 특징을 재현할 수 있음을 알 수 있다. 이 기능을 활용할 수 있는 사례로, Generation Z 언어 특유의 은폐된 독성(toxicity)을 탐색하는 작업이 있다. 이는 데이터 구축이 매우 까다로운 작업 중 하나이다. Figure 2는 Generation Z 세대 간의 독성 대화 예시를 제공하는데, 이러한 대화는 이 세대의 언어에 익숙하지 않은 사람들에게는 이해하기 어려울 수 있다.

본 논문에서는 먼저 세 가지 널리 사용되는 LLM(LLaMA 3.1 8B Instruct, Mistral 7B v0.3 Instruct, Qwen 2.5 7B Instruct)의 활성화 공간(activation space)에 특정 스타일의 하위 공간이 존재하는지 살펴본다. 

이후 다양한 강도로 조정 가능한 지향 벡터(steering vectors)를 사용하여 모델의 생성 과정을 목표 스타일의 강도에 따라 제어하는 실험을 수행한다. 

마지막으로, Generation Z 사회방언(sociolect)에서 표현되는 독성 사례 연구를 제시한다.

본 연구의 기여점:
본 연구의 주된 목적은 대규모 언어 모델이 스타일 전이를 위한 효과적인 도구로서, 데이터 부족 상황에서 데이터 생성 도구로 활용 가능한지를 탐색하는 것이다. 

• 이것이 논문의 동기라고 언급하긴 했네

스타일 전이 능력에 대한 탐구는 두 가지 측면에서 진행된다. 

• 우리는 먼저 세 가지 대규모 언어 모델의 활성화 공간을 분석하여 스타일별 하위 공간의 존재를 확인한다(섹션 4). 
• 그 후 지향 벡터를 계산하고 이를 다양한 강도로 적용하여 생성이 특정 스타일로 얼마나 효과적으로 제어될 수 있는지 관찰한다. 
• 마지막으로, 우리가 제시하는 새로운 스타일 전이 작업(섹션 5)을 통해 "LLM을 사용하여 데이터가 부족한 시나리오에서 기존 데이터를 기반으로 새로운 데이터셋을 생성할 수 있는가?"라는 주요 질문에 대한 답을 찾고자 한다.