Audio-027, KAME: Tandem Architecture for Enhancing Knowledge in Real-Time Speech-to-Speech Conversational AI, ICASSP 2026

ABSTRACT

실시간 음성-대-음성(Speech-to-Speech, S2S) 모델은 자연스럽고 지연 시간이 짧은 대화 응답을 생성하는 데 뛰어나지만, 깊이 있는 지식과 의미적 이해가 부족한 경우가 많다. 반면 자동 음성 인식, 텍스트 기반 대규모 언어 모델(LLM), 그리고 텍스트-대-음성 합성을 결합한 캐스케이드 시스템은 더 우수한 지식 표현 능력을 제공하지만, 높은 지연 시간으로 인해 자연스러운 상호작용의 흐름을 방해한다.

본 논문에서는 이러한 두 패러다임 사이의 격차를 해소하기 위한 새로운 하이브리드 아키텍처를 제안한다. 제안하는 프레임워크는 즉각적인 응답성을 확보하기 위해 사용자의 음성을 S2S Transformer로 처리하는 동시에, 해당 질의를 강력한 백엔드 LLM으로 전달한다. 이후 LLM이 생성한 텍스트 응답을 실시간으로 주입하여 S2S 모델의 음성 생성을 유도한다. 이를 통해 캐스케이드 시스템의 전체 지연 비용을 감수하지 않으면서도, S2S 모델의 출력에 풍부한 지식을 효과적으로 통합한다.

우리는 다중 턴 질의응답 세션으로 구성된 MT-Bench 벤치마크의 음성 합성 변형을 사용하여 제안 방법을 평가하였다. 실험 결과, 제안 시스템은 응답의 정확성 측면에서 기본 S2S 모델을 크게 능가하고 캐스케이드 시스템에 근접하는 성능을 보였으며, 동시에 기본 S2S 모델과 유사한 수준의 지연 시간을 유지하였다.

색인어— 대화형 인공지능, 대규모 언어 모델, 실시간 시스템, 질의응답.

1. 서론

완전 이중화(full-duplex) 대화형 음성 모델은 인간과 디지털 비서 간의 자연스러운 상호작용을 실현하기 위한 가장 유망한 모델 중 하나이다 [1, 2]. 이러한 모델은 사용자의 질의를 지속적으로 청취하면서 동시에 응답할 수 있기 때문에, 다양한 인간-기계 인터페이스에 새로운 가능성을 제공한다. 특히 질의응답이나 브레인스토밍처럼 인간과 기계 사이의 빠른 상호작용이 필요한 응용에서 그 잠재력이 크다.

최근 대규모 Transformer의 발전에 힘입어, 이러한 모델은 직접적인 음성-대-음성(Speech-to-Speech, S2S) 모델로 구현될 수 있게 되었다 [3, 4, 5]. S2S 모델은 다른 시스템과의 동기화가 필요하지 않은 단일 통합형 아키텍처로 구성되기 때문에, 일반적으로 응답 전환 시간이 매우 짧으며 이는 더욱 자연스러운 상호작용에 기여한다. Moshi [2]는 완전 이중화 대화형 AI를 위한 종단간 S2S 모델을 제시한 선구적인 연구이다.

그러나 S2S 모델의 입력과 출력은 정보량이 많은 음향 신호이기 때문에, 자기회귀 모델링에서는 모델 용량과 관련된 근본적인 문제가 발생한다. 다시 말해, 텍스트 전용 대규모 언어 모델(LLM)과 달리 S2S 모델은 음성의 언어적 내용뿐 아니라 발화 스타일, 감정과 같은 준언어적 특성까지 함께 포착해야 한다. 이로 인해 S2S 모델은 지식을 습득하는 데 본질적으로 비효율적이다. 모델 크기가 동일하다고 가정하면, 텍스트 전용 LLM은 모델 용량을 오직 텍스트에만 사용할 수 있으므로 더 많은 지식을 학습할 수 있다. 텍스트는 정보가 조밀하게 표현되기 때문이다. 반면 S2S 모델은 비용이 큰 비언어적 특성을 표현하는 데 상당한 자원을 사용해야 한다. 단순히 모델 크기를 확장하는 것 역시 직접적인 해결책은 아니다. 특히 S2S 모델은 실시간 추론을 수행해야 하므로, 모델 확장은 학습 안정성과 자원 요구량 측면에서 또 다른 어려움을 야기한다.

한편, 캐스케이드 아키텍처는 지식 통합 측면에서 강점을 가진다. 이 접근법에서는 먼저 자동 음성 인식(ASR) 모델을 사용하여 사용자의 전체 발화를 전사한다 [6, 7]. 이후 전사된 텍스트를 텍스트 기반 LLM에 입력하고, 생성된 응답을 텍스트-대-음성(TTS) 엔진을 통해 다시 음성으로 합성한다 [6, 8]. 

• Streaming sequence-to-sequence learning with delayed streams modeling

이러한 모듈형 설계의 가장 큰 장점은 지식 확장성이다. 즉, 최신의 고성능 LLM을 손쉽게 연결하여 시스템의 성능을 지속적으로 최신 수준으로 유지할 수 있다.

하지만 이러한 순차적 처리 과정은 지연 시간을 증가시키며, 이는 대화형 AI에서 치명적인 단점이다. 시스템은 ASR과 LLM이 처리를 시작하기 전에 사용자의 발화가 끝나는 시점을 기다려야 하기 때문에 [9], 발생하는 지연이 자연스러운 대화의 흐름을 방해한다.

이 두 패러다임 사이의 격차를 해소하기 위해, 본 논문에서는 S2S 모델의 낮은 지연 시간과 캐스케이드 시스템의 지식 확장성을 동시에 달성하는 새로운 하이브리드 아키텍처를 제안한다. 우리는 이 아키텍처를 Knowledge-Access Model Extension(KAME)이라고 명명한다.

KAME는 프런트엔드 S2S 모델과 백엔드 텍스트 LLM으로 구성된 “탠덤(tandem)” 시스템으로 동작한다. 프런트엔드 모델은 사용자의 음성을 실시간으로 처리하여 즉각적인 응답을 생성한다. 동시에 중간 전사 결과를 백엔드 LLM으로 스트리밍한다. LLM이 보다 풍부한 지식을 반영한 응답을 생성하면, 그 텍스트는 “오라클(oracle)” 스트림을 통해 프런트엔드로 다시 전달된다. 프런트엔드 모델은 자신의 내부 문맥과 외부에서 들어오는 오라클 가이던스를 모두 조건으로 사용하여 음성을 생성하도록 특별히 학습된다. 이를 통해 실시간 응답성에 깊이 있는 지식을 효과적으로 결합한다.

다중 턴 MT-Bench [10] 벤치마크를 음성으로 합성한 변형 데이터셋에서 평가한 결과, KAME는 직접 S2S 모델의 응답성을 유지하면서도 최신 캐스케이드 시스템에 근접한 대화 품질을 달성하였다. 이러한 지연 시간과 성능 간의 관계는 그림 1에 제시되어 있다.

• KAME은 지연시간을 설정할 수 있는 형태인가봄?
• 근데 Moshi랑 비슷한 지연에서 성능이 높은 형태이긴함

본 연구는 응답 생성을 위한 계층적·다중 구성요소 아키텍처에 관한 기존 연구와 개념적으로 관련된다. 예를 들어 Qwen2.5-Omni [11]는 Thinker-Talker 아키텍처를 사용하며, LLM 모듈인 “Thinker”가 생성한 텍스트를 실시간으로 음성 합성할 수 있다. 이러한 계층형 구조는 응답 시간 측면에서는 유리하지만, 여전히 텍스트로 표현된 완전한 질의를 필요로 한다. 또한 Thinker와 Talker가 긴밀하게 결합되어 있기 때문에 백엔드 Thinker만 독립적으로 교체하기 어렵다.

Minions [12]는 대규모 문맥 처리 시나리오에서 문맥 처리 작업을 대형 백엔드 LLM과 로컬 소형 언어 모델 간에 분담하여 비용 효율적인 응답 생성을 구현하였다. ASR 분야에서는 deliberation model [13]이 더 작은 프런트엔드 모델의 결과를 더 큰 백엔드 시스템으로 교정하기 위해 두 개의 구성요소로 이루어진 이기종 아키텍처를 사용한다.

제안하는 방법 역시 이러한 협력적 전략을 따른다. 다만 핵심적인 차이는 프런트엔드와 백엔드가 서로 다른 표현을 사용한다는 점이다. 구체적으로 프런트엔드는 S2S 모델이고, 백엔드는 텍스트 기반 언어 모델이다. 제안 아키텍처의 이러한 느슨한 결합은 KAME가 특정 백엔드에 종속되지 않도록 해준다는 장점이 있다.

최첨단 LLM은 전문성이 강한 영역이 서로 크게 다르다고 알려져 있기 때문에 [14], 백엔드 비종속성은 응용 분야에 따라 적절한 백엔드 LLM을 유연하게 선택할 수 있게 해준다. 이는 다양한 응용 환경에서 최적의 성능을 달성하기 위해 필수적이다.

본 논문의 나머지 구성은 다음과 같다. 먼저 프런트엔드와 백엔드 구성요소 간의 실시간 통신을 가능하게 하는 탠덤 아키텍처를 소개한다. 이후 제안 시스템의 구체적인 학습 방법을 설명한다. 마지막으로 실험 절에서는 MT-Bench를 기반으로 KAME를 평가하고 그 결과를 논의한다.

2. 탠덤 아키텍처

그림 2는 KAME의 아키텍처를 보여준다. 

제안하는 설계는 서로 다른 시간 척도로 동작하는 두 개의 모듈로 구성된다. 프런트엔드 S2S 모듈은 이산 오디오 토큰의 주기, 예를 들어 80ms 단위로 동작하는 반면, 백엔드 LLM은 상대적으로 더 느린 주기, 예를 들어 100~500ms 단위로 갱신된다.

이 아키텍처의 핵심 장점은 프런트엔드 S2S 모델이 즉시 응답을 생성할 수 있으며, 이후 백엔드의 감독 정보를 활용해 그 응답을 점진적으로 개선할 수 있다는 점이다. 이에 대한 세부 내용은 다음 절에서 설명한다.

캐스케이드 방식과 달리, 제안 방법에서는 두 모듈이 독립적으로 실행되면서 비동기적으로 연결된다. 이러한 설계는 초기 응답 지연을 최소화하는 동시에, 백엔드 LLM의 도움을 통해 응답 품질을 향상시킨다.

2.1. 백엔드 LLM 모듈

백엔드 LLM 모듈은 스트리밍 음성-대-텍스트(Streaming Speech-to-Text, STT) 구성요소와 백엔드 LLM으로 이루어진다. 사용자가 말하는 동안 스트리밍 STT 구성요소는 음성을 지속적으로 전사하고, 부분 전사 결과를 주기적으로 백엔드 LLM에 전달한다.

백엔드 LLM은 부분 전사 결과를 받을 때마다 후보 응답을 생성하여 프런트엔드 모듈로 전송한다. 이 구조를 통해 프런트엔드 모델은 더 큰 백엔드 LLM의 우수한 지식과 추론 능력을 거의 실시간으로 활용하여, 더 높은 품질의 정보성 있는 응답을 생성할 수 있다. 백엔드 모듈의 데이터 흐름은 그림 2의 빨간색 화살표로 나타나 있다.

구체적으로, 이러한 후보 응답은 프런트엔드 S2S Transformer에 오라클 토큰(oracle tokens)으로 입력되어 출력 생성을 유도한다. 여기에는 시간 동기화와 관련된 문제가 발생한다. S2S Transformer는 고정된 간격, 예를 들어 80ms마다 토큰을 소비하지만, 비동기적으로 전달되는 백엔드 LLM의 응답은 길이와 생성 빈도가 일정하지 않을 수 있다. 이 때문에 연속된 LLM 호출에서 생성된 출력들이 서로 겹칠 수 있다.

이를 해결하기 위해 저자들은 가장 최근에 생성된 응답을 우선적으로 사용한다. 최신 응답은 더 길고 완전한 사용자 전사 결과를 바탕으로 생성되므로, 이전 응답보다 더 많은 정보를 포함할 가능성이 높기 때문이다.

여기서 저자들이 사용하는 “오라클”이라는 용어는 사람이 직접 작성한 정답 주석을 의미하는 것이 아니라, 백엔드 LLM이 제공하는 감독 신호를 의미한다.

Reference

• https://arxiv.org/pdf/2510.02327