Audio-031, Multimodal Duplex Interaction Agent, Preprint 2026

◼ Comment

  • MiniCPM을 기반으로한 인터랙션 모델로 Gander로 부름
  • 입력으롤 텍스트,오디오,비디오가 스트리밍으로 들어가 출력은 텍스트/오디오임
    • 먼저 메인모델 thinker은 텍스트를 생성하고, 여기서 생성된 텍스트토큰이랑, hidden representation을 talker에 넘겨서 오디오 토큰을 생성함
    • 오디오 토큰은 디코더 태워서 실제 음성으로 만들어짐
    • 입력 오디오와 비디오는 사전에 학습된 encoder을 통해 continuous embedding이 들어감
    • 생성된 오디오는 thinker에 들어가는 구조는 아님
  • thinker은 텍스트 토큰에서 control token까지도 생성함
    • 컨트롤 토큰이란, Listen / Speak / Interrupt / Tool을 말하는건데 우리가 사용하는 speak_pad, listen_pad, wait_pad 같은 그런 용도임
  • 또한 tool-call content 을 생성하는데 이것은 runtime에 보낼 토큰임
    • <tool_call> {"name": "tool_state", "arguments": {"key": "value"}} </tool_call> 이런 토큰을 프론트모델(thinker)에서 직접 생성한다는 것이다
      • tool state라고 위에선 말했지만, 여기에 대응되는게 실제로는 task_start, task_send, task_resolve가 존재한다고함
      • 이게 담는 내용은 어떤 툴을 어떤 인자로 호출할지를 생성한지를 의미
      • 한번의 통신으로 끝나는 상황이 아닌, 여러 번 왔다 갔다 한다는 상황에 맞게 정의한 느낌인데, 밑에 3.2.1에 예시 적어둠
    • 그리고 사용자 audio query의 transcription + 관련 video final frames을 함께 백엔드로 넘긴다고함
      • 백엔드는 클로드코드 같은걸 의미해서 이러한 tool-call content와 기존 대화를 받는 개념
    • 즉 프론트가 툴관련 내용도 생성하고, 이걸 runtime쪽에서 받아서 관리하는것인데
      • 이게 한번의 턴이면 사실 의미 없는데 
      • 여러 턴을 왔다갔다 하면서 해결해야하는 과정이면
      • 이게 현재 어느 state인지 트래킹등이 필요하고 이걸 runtime에서 관리하는것
      • 즉 프론트에서 <tool_call> {"name": "tool_state", "arguments": {"key": "value"}} </tool_call> 이런걸 받으면 state을 업데이트하고, 이걸 백엔드에서 참고하는 식
      • tool_state로 task_start가 생성되면 Runtime이 새 Task T1과 실행 상태를 만들고, 이를 특정 Back Brain execution/thread와 연결한다. 이후 Back Brain은 Runtime이 연결해준 task context에서 실제 작업을 수행하며, 필요하면 Runtime의 task context를 조회한다.
  • orchestration
    • 프론트에서 백엔드로 바로 내용을 보내는건 lean mode라고 부름
    • 근데 여기서 coordinator mode라는 것도 제시하는데, 중간 모델에서 reasoning 강도, 질문 정책,  결과 전달 정책등 지정하는 실행지시를 생성하고 이거를 백엔드로 보내는 방법이 있다고 함
    • 여기서 중간모델은 뭐지? 뭔지는 안나와있음
    • 예시)
      • reasoning intensity: high
      • questioning policy: 필요한 경우 사용자에게 질문
      • permission policy: 위험한 파일 수정 전 승인
      • delivery strategy: 주요 진행 상황만 사용자에게 전달

Abstract

본 연구에서는 MiniCPM-o 4.5를 기반으로 하며, 비동기 에이전트 루프(asynchronous agent loop)를 통해 실시간 상호작용에 추가로 적응시킨 네이티브 멀티모달 듀플렉스 상호작용 모델 Gander를 제안한다. 기존의 턴 기반 시스템과 달리, Gander는 스트리밍되는 사용자 입력을 지속적으로 처리함으로써 일상적인 대화뿐만 아니라 복잡한 워크플로 중심의 에이전트 시나리오에서도 자연스러운 full-duplex 상호작용을 가능하게 한다. 사용자는 진행 중인 응답을 중단할 수 있으며, 모델 또한 상황에 따라 선제적으로 중간 피드백을 제공하거나 후속 질문을 할 수 있다. 

이러한 기능을 네이티브하게 지원하기 위해, Gander는 두 가지 핵심 아키텍처 설계를 채택한다.

  1. Cerebellum-Brain 협업 프레임워크: Cerebellum은 실시간 상호작용과 대화 응답성을 담당하고, Brain은 복잡한 추론과 상위 수준의 에이전트 작업을 담당한다. 두 구성 요소는 툴 호출(tool calling)과 에이전트 오케스트레이션 런타임(agent orchestration runtime)을 통해 지속적으로 상호작용한다. 

  2. Cerebellum은 스트리밍 Thinker-Talker 아키텍처를 기반으로 구축된다. 이 구조에서는 사용자 입력과 모델 출력을 청크(chunk) 수준에서 시간 순서대로 정렬된 하나의 토큰 스트림으로 평탄화(flatten)하여, 낮은 지연시간과 지속적인 상호작용을 위한 통합 표현을 제공한다. 

우리는 Gander를 대화 능력, 상호작용 능력, 이해 능력, 툴 보조 작업 수행 능력의 측면에서 평가한다. 내부 인간 평가 결과, Gander는 자연스럽고 표현력 있는 음성 대화를 유지하는 것으로 나타났으며, 벤치마크 결과에서는 효과적인 턴 테이킹 능력과 음성 질의응답 및 관련 이해 과제에서 유망한 성능을 보였다. 또한 Gander는 배경 소음 간섭, 다자간 상호작용, 백채널(backchannel) 커뮤니케이션을 포함한 다양한 도전적인 상호작용 환경을 지원한다. 

현재의 평가는 대표적인 대화 및 툴 보조 설정에 초점을 맞추고 있지만, 보다 광범위한 장기 에이전트 작업(long-horizon agent tasks) 및 더욱 다양한 배포 환경은 향후 연구를 위한 유망한 방향으로 남아 있다. 우리는 커뮤니티의 후속 연구와 개발을 촉진하기 위해 Gander와 함께 모델, 코드, 데이터를 공개한다. 

1. Introduction

대규모 언어 모델(LLM)은 주로 질의응답과 대화에 사용되는 언어 인터페이스(Yang et al., 2025)에서 점차 더 복잡한 작업을 수행할 수 있는 범용 에이전트(Anthropic, 2024; Singh et al., 2025; Yao et al., 2022)로 빠르게 발전하고 있다. 도구 사용, 환경과의 상호작용, 다단계 계획 및 실행을 통합함으로써, LLM 기반 에이전트(Team et al., 2026; Zeng et al., 2026)는 단순히 텍스트 응답을 생성하는 것을 넘어 외부 환경을 인식하고, 추론하며, 그에 대해 행동할 수 있다. 이러한 새로운 에이전트 패러다임은 LLM의 역할을 확장하여, 코딩과 도구 보조 문제 해결부터 워크플로 자동화에 이르기까지 다양한 응용을 가능하게 한다.

Figure 1 | Gander는 워크플로 지향 환경의 다단계 작업을 위해 실시간 상호작용형 커뮤니케이션과 비동기 에이전트 루프를 결합한다.

에이전트 능력이 빠르게 발전하고 있음에도 불구하고, 인간-AI 상호작용은 여전히 일반적으로 텍스트 기반의 턴 단위 커뮤니케이션을 중심으로 구성되어 있다. 이 방식에서는 사용자가 지시를 제공하면 모델이 개별적인 상호작용 주기마다 응답한다. 이러한 패러다임은 인간 간 의사소통의 유연하고 협력적인 특성과는 다르다. 인간 간 의사소통에서는 참여자들이 지속적으로 정보를 주고받고, 동시에 듣고 말하며, 맥락적 단서를 관찰하고, 진행 중인 상호작용을 유연하게 시작하거나 중단하거나 방향을 바꿀 수 있다. 따라서 보다 자연스럽고 효과적인 인간-AI 협업을 위해서는 AI 시스템이 기존의 요청-응답 방식에서 벗어나 상호작용 전반에 걸쳐 지속적으로 참여할 수 있어야 한다.

이러한 패러다임을 실현하기 위해서는 다음의 세 가지 상호보완적인 능력이 필요하다.

  1. 음성, 비전, 텍스트로부터 정보를 인식하고 이해하는 능력

  2. 자연스러운 실시간 커뮤니케이션을 지원하는 지속적이고, 저지연이며, 양방향적인 상호작용 능력

  3. 맥락적 추론, 계획, 도구 사용, 작업 실행을 위한 에이전트 능력

이러한 능력들은 함께, 동적인 환경에서 인간과 복잡한 작업을 협업하면서 인식하고, 소통하고, 추론하고, 행동할 수 있는 상호작용형 에이전트의 기반을 제공한다.

앞서 설명한 형태의 인간-AI 협업을 실현하려면 두 가지 중요한 질문이 제기된다. 

  • 첫째, 자연스러운 실시간 상호작용을 VAD(Xu et al., 2026b)나 ASR(An et al., 2025; Radford et al., 2023)과 같은 기존의 인식 및 상호작용 모듈을 조합하는 방식으로 어느 정도까지 달성할 수 있으며, 상호작용성을 어느 정도까지 모델 자체의 내재적 능력으로 모델링해야 하는가? 
  • 둘째, 시스템이 실시간 상호작용에 필요한 저지연 응답성을 제공하면서 동시에 복잡한 에이전트 작업에 필요한 장기적 추론 능력을 어떻게 유지할 수 있는가?

이러한 질문에 답하기 위해, 우리는 실시간 멀티모달 상호작용과 에이전트 추론을 결합하도록 설계된 비동기 에이전트 루프를 갖춘 듀플렉스 상호작용 모델 Gander를 제안한다.

  1. 우리는 상호작용성을 외부 오케스트레이션 파이프라인에서 전적으로 처리하는 것보다 상호작용 모델 내부에서 직접 모델링하는 것이 유리할 수 있다고 본다. 실제 인간-AI 상호작용에는 사용자의 자발적인 끼어들기, 에이전트 주도의 개입, 배경 소음이 있는 상황에서의 상호작용, 다자간 대화, 그리고 백채널 행동(예: “uh-huh”, “right”, “I see”와 같은 짧은 맞장구)이 포함된다. VAD(Silero, 2024)와 같이 독립적으로 설계된 모듈에 의존하는 파이프라인에서는 이러한 행동을 안정적으로 조정하기 어려울 수 있다.

더 중요한 점은, 상호작용성을 모델의 내재적 능력으로 모델링하면 대화 제어와 모델의 기반 능력을 하나의 통합된 프레임워크 안에서 함께 발전시킬 수 있다는 것이다. 이러한 원칙에 따라 Gander는 스트리밍 오디오-비주얼 입력과 모델이 생성한 텍스트 스트림을 시간적으로 정렬된 청크로 분할하고, 이를 하나의 통합된 자기회귀 시퀀스로 구성하여 공동으로 처리한다. 각 청크 내에서 모델은 명시적으로 들을지 말지를 예측하며, 이를 통해 상호작용 상태를 동적으로 제어하고 실시간으로 인식과 생성을 조정하는 방법을 학습한다.

  1. 실시간 대화형 상호작용과 복잡한 에이전트 워크플로는 서로 다른 계산 및 추론 요구사항을 가진다. 일상적인 대화에서는 즉각적인 응답과 지속적인 맥락 적응이 중요하지만, 복잡한 워크플로에는 더 긴 범위의 추론, 반복적인 계획, 도구 사용, 지속적인 실행이 포함될 수 있다. 이 두 가지를 하나의 단일 모델에서 모두 처리하려 하면 응답성과 추론 능력 사이에 긴장이 발생할 수 있다.

이 문제를 해결하기 위해, Huang et al. (2026), Lab (2026), Wu et al. (2025)의 접근을 따라, 우리는 실시간 상호작용과 비동기 장기 추론을 분리하는 최근의 접근과 개념적으로 유사한 Cerebellum-Brain 형태의 분리형 아키텍처를 채택한다. Gander에서 Cerebellum은 실시간 멀티모달 상호작용, 지속적인 인식, 반응성 높은 대화 제어를 담당하며, Brain은 복잡한 계획과 에이전트 작업 실행을 담당하는 더 높은 용량의 추론 모듈로 동작한다.

  • DuplexOmni: Real-Time Listening, Seeing, Thinking, and Speaking for Full-Duplex Interaction

Cerebellum은 실시간 상호작용 맥락을 지속적으로 유지하면서, 필요할 때 tool call을 통해 Brain을 선택적으로 호출하고, 누적된 텍스트 맥락, 음성 전사 결과, 시각 프레임을 전달한다. Brain은 이후 비동기적으로 더 깊은 추론을 수행하며, 중간 요약, 계획, 또는 최종 결과를 Cerebellum에 반환할 수 있다. Cerebellum은 이러한 출력을 현재 진행 중인 상호작용에 통합한다.

중요한 점은 Brain이 Gander 내부에서 추가적인 학습을 필요로 하지 않는 플러그 앤 플레이 구성 요소로 설계되었다는 것이다. 따라서 핵심 상호작용 모델을 다시 학습하지 않고도 서로 다른 추론 백엔드나 더 강력한 추론 백엔드를 통합할 수 있다. 이러한 설계는 실시간 상호작용 모델을 유지하면서 추론 능력을 향상시킬 수 있는 모듈식 경로를 제공한다.

재현성을 위해, 우리는 MiniCPM-o 4.5(Cui et al., 2026)를 상호작용 모델의 초기화 모델로 사용하여 Gander를 구성하고, 최근의 스트리밍 음성 언어 시스템(Team, 2026; Xu et al., 2025b)과 관련된 Thinker-Talker 아키텍처와 Codex 기반 추론 백엔드를 채택한다. Figure 1에 나타난 것처럼 대화, 상호작용, 멀티모달 이해, 에이전트 데이터로 학습함으로써, Gander는 대화, 멀티모달 이해, 실시간 상호작용, 도구 보조 에이전트 작업 전반에서 경쟁력 있는 성능을 보인다. 또한 시각적 맥락을 이용해 모호한 지시 대상을 해소하는 것과 같은 유용한 맥락 의존적 행동도 보여준다.

듀플렉스 상호작용 에이전트의 상호보완적인 능력을 평가하기 위해, 우리는 최근의 실시간 상호작용 시스템(Hurst et al., 2024; OpenAI, 2026)에서 사용된 평가 방식을 따르며, Full-Duplex-Bench, SpokenQA, WorldSense와 같은 기존 벤치마크의 결과와 함께 대화의 자연스러움에 대한 내부 인간 평가 및 프로젝트 웹사이트의 정성적 상호작용 예시를 보고한다. 우리는 커뮤니티의 연구를 촉진하기 위해 데이터, 코드, 모델을 공개한다.

본 연구의 기여는 다음과 같이 요약된다.

(1) 우리는 비동기 에이전트 루프를 갖춘 듀플렉스 상호작용 모델 Gander를 제안한다. 이 모델은 추론 능력을 모듈 방식으로 확장할 수 있도록 지원하며, 실시간 상호작용과 장기적인 에이전트 추론을 연결한다.

(2) Tool call 피드백과 청크 기반 스트리밍을 사용하는 Cerebellum-Brain 협업 프레임워크를 기반으로, Gander는 끼어들기, 선제적 상호작용, 배경 간섭에 대한 강건성, 다자간 상호작용, 백채널 커뮤니케이션, 추론, 도구 보조 작업 실행을 포함한 폭넓은 상호작용 능력을 보여준다.

(3) 우리는 듀플렉스 상호작용 에이전트에 대한 공개 연구와 후속 개발을 촉진하기 위해 Gander의 모델 가중치, 코드, 데이터를 공개한다.

인터랙션(Cerebellum)와 백엔드(Brain) 모델을 둬서 동작하는 프레임워크 제안한것이고, 툴콜 기반의 시나리오를 고려한 듯? 즉 툴콜 데이터 밀어 넣어서 학습한 것으로 보임

2. Related Work

음성 언어 모델과의 상호작용은 기존의 턴 기반 인간-컴퓨터 대화에서 점차 full-duplex 상호작용(Lu et al., 2026)과 에이전트 작업 실행으로 발전해 왔다. 이러한 흐름에서 기존 연구는 크게 세 가지 밀접하게 관련된 방향으로 나눌 수 있다. 즉, 오디오 상호작용 모델, 멀티모달 상호작용 모델, 그리고 실제 작업 수행을 위한 음성 에이전트 시스템이다. 이러한 연구들은 서로 다른 목표를 추구하지만 공통적으로, 모델이 사용자의 발화가 완전히 끝날 때까지 기다린 후 응답하는 기존 패러다임을 넘어, 환경을 지속적으로 인식하고 현재의 상호작용 상태를 추론하며 자연스럽고 적절한 시점에 커뮤니케이션할 수 있는 에이전트를 지향한다.

2.1. Speech Language Models and Full Duplex Interaction

초기의 음성 언어 모델(An et al., 2024; Ding et al., 2025; Huang et al., 2025; Ji et al., 2024a)은 음성 이해(Chu et al., 2023, 2024)와 음성 생성(Du et al., 2025; Ji et al., 2024b, 2025a,b,c)에서 상당한 발전을 이루었지만, 이들의 상호작용 프로토콜은 여전히 대부분 명시적인 대화 턴에 의해 제어되었다. 일반적인 시스템에서는 Voice Activity Detection(VAD)(Silero, 2024; Xu et al., 2026b)과 같은 외부 모듈을 사용하여 사용자의 발화 시작과 종료 시점을 판단하고, 이후 해당 음성 구간을 모델에 전달하여 이해 및 응답 생성을 수행한다. 그 결과, 모델 자체는 기본적인 상호작용 결정에 대해 제한적인 제어만 갖는다.

이러한 패러다임은 기존의 질의응답형 상호작용에는 효과적이지만, 망설임, 일시정지, 끼어들기, 중첩 발화, 배경 간섭 등이 포함된 자연스러운 대화에는 적합하지 않다. 따라서 최근 연구에서는 음성 모델이 상호작용 타이밍과 대화 상태를 직접 모델링할 수 있도록 하는 방향에 점점 더 초점을 맞추고 있다.

BayLing-Duplex(Fang et al., 2026)는 언제 들을지, 언제 말할지, 그리고 언제 현재 응답을 종료할지에 대한 결정을 하나의 자기회귀 모델 안에 직접 통합한다. 소수의 전용 상태 토큰을 도입함으로써, 모델은 별도의 턴 테이킹 컨트롤러에 의존하지 않고 스트리밍 음성 생성 중에 상호작용 결정을 내릴 수 있다. 이 설계는 상호작용 타이밍을 외부 시스템 구성 요소가 아니라 모델의 자기회귀 예측 과정의 일부로 다룬다.

Qwen-Audio-3.0-Realtime(QwenAudio Team, 2026b)은 스트리밍 관점에서 실시간 음성 상호작용을 탐구한다. 각 발화를 하나의 완전한 음향 구간으로 처리하는 대신, 연속적인 오디오 스트림을 청크 단위로 점진적으로 처리함으로써 모델이 지속적으로 맥락 정보를 획득하고 상호작용 지연을 줄이면서 응답을 생성할 수 있도록 한다.

Audio Interaction Model(Xie et al., 2026b)은 실시간 상호작용의 범위를 대화 음성에서 일반적인 온라인 오디오 상호작용으로 확장한다. 이 모델은 환경음과 사용자 지시를 지속적으로 청취하면서 응답이 필요한지를 판단한다. 여기서 선제적 상호작용(proactive interaction)에 대한 강조는 특히 중요하다. 모델은 더 이상 명시적으로 정의된 사용자 턴이 끝난 뒤에만 응답할 필요가 없으며, 진행 중인 오디오 스트림의 의미가 개입이 적절함을 나타내는 경우 스스로 응답을 시작할 수 있다.

  • Audio Interaction Model

Seeduplex(ByteDance Seed Team, 2026b)는 실제 음향 환경에서 지속적으로 듣는 과정의 어려움을 한층 더 탐구한다. 이 연구는 단순히 동시에 듣고 말하는 것에 그치지 않고, 주의 깊은 청취와 강건한 간섭 억제를 포함한다. 특히 모델은 배경음 및 다른 화자가 생성한 음성과 관련 있는 사용자의 발화를 구별하는 동시에, 사용자의 끼어들기에 적절히 대응할 수 있어야 한다.

이러한 능력들은 full-duplex 상호작용에서 중요한 한 가지 측면을 보여준다. 즉, 자연스러운 상호작용은 단순히 입력과 출력을 동시에 처리하는 것에만 의존하는 것이 아니라, 복잡한 음향 조건에서도 모델이 적절한 상호작용 상태를 유지할 수 있는 능력에 달려 있다.

GPT-Live(OpenAI, 2026)는 자연스러운 실시간 음성 상호작용을 향한 또 다른 중요한 발전 방향을 보여준다. GPT-Live는 Moshi(Défossez et al., 2024)와 유사한 full-duplex 아키텍처를 채택하여, 들어오는 오디오를 지속적으로 처리하면서 동시에 음성 출력을 생성할 수 있다. 이를 통해 시스템은 진행 중인 대화 중에도 계속 들을지, 응답할지, 멈출지, 또는 끼어들지를 결정할 수 있다.

이러한 연구들은 음성 상호작용을 기존의 턴 기반 패러다임을 넘어 상당히 발전시켰다. 이제 핵심 질문은 모델이 음성을 이해하고 생성할 수 있는지 여부에서, 대화 중에 지속적으로 듣고 말하면서 자신의 참여를 조절할 수 있는지 여부로 이동했다. 그럼에도 불구하고 대부분의 연구는 여전히 오디오 기반 상호작용에 초점을 맞추고 있다. 따라서 주변 환경에 대한 이해는 주로 음향 정보에서 비롯되며, 상호작용 능력 역시 여전히 비교적 제한된 대화 환경에서 평가되는 경우가 많다.

2.2. Multimodal Models and Continuous Interaction

시각, 오디오, 비디오 정보를 하나의 통합된 파운데이션 모델에 결합하면서 멀티모달 상호작용이라는 새로운 연구 방향이 열렸다. 음성 전용 시스템과 비교할 때, 멀티모달 모델은 청각적 맥락과 시각적 맥락을 모두 활용할 수 있기 때문에 사용자가 무엇을 말하는지뿐만 아니라 주변 장면과 그 시간적 변화에 대해서도 추론할 수 있다. 이러한 추가적인 맥락은 특히 발화의 의미가 시각 정보에 의존하는 상황에서 새로운 상호작용 가능성을 제공한다.

Qwen Omni(Team, 2026; Xu et al., 2025b) 시리즈와 같은 대표적인 모델들은 여러 입력 모달리티를 하나의 통합된 파운데이션 모델에 결합하고 스트리밍 음성 생성을 지원한다. 이러한 시스템은 공유된 맥락 안에서 언어적, 음향적, 시각적, 시간적 정보를 공동으로 해석할 수 있게 함으로써 실시간 멀티모달 상호작용을 위한 일반적인 기반을 제공한다.

MiniCPM-o 4.5(Cui et al., 2026)는 Omni Flow를 통해 지속적인 멀티모달 상호작용을 한층 더 탐구한다. Omni Flow는 멀티모달 인식과 응답 생성을 독립적인 단계로 처리하는 대신, 멀티모달 입력과 출력을 하나의 통합된 시간축 위에 배치한다. 이를 통해 모델은 응답을 생성하는 동시에 시각 및 오디오 신호를 지속적으로 인식할 수 있다.

이러한 설계는 실시간 상호작용과 특히 밀접한 관련이 있는데, 모델이 개별 턴마다 맥락을 반복적으로 초기화하는 대신 상호작용에 대한 연속적인 시간적 표현을 유지할 수 있기 때문이다. MiniCPM-o 4.5는 지속적으로 관찰되는 환경 정보에 기반한 선제적 행동을 보여준다.

JoyAI-VL-Interaction(Yao et al., 2026)은 연속적인 시각 스트림 상에서의 상호작용에 초점을 맞춘다. 시각 정보를 정적인 맥락 정보의 원천으로 취급하는 대신, 지속적인 시각 인식을 상호작용 과정 자체의 일부로 간주한다. 모델은 시간에 따라 환경의 변화를 관찰하고, 이러한 변화가 응답이나 추가적인 상호작용을 요구하는지를 판단한다.

SeedRealtime(ByteDance Seed Team, 2026a)은 네이티브 audio-visual full-duplex 상호작용을 도입함으로써 이 방향을 더욱 발전시킨다. 이 모델은 오디오, 비디오, 텍스트를 하나의 통합된 아키텍처 안에서 공동으로 결합하며, 멀티모달 스트림 전반에 걸쳐 지속적인 상호작용을 가능하게 한다.

SeedRealtime은 단순히 여러 입력 모달리티를 결합하는 것을 넘어, audio-visual 통합이 상호작용 품질을 직접적으로 향상시킬 수 있음을 보여준다. 예를 들어, 시각적 맥락은 음성적 모호성을 해소하고, 시간적 지시 표현을 해석하며, 동일한 상호작용 과정에서 보이는 것, 들리는 것, 말해지는 것을 서로 연결하는 데 도움을 줄 수 있다. 또한 이 모델은 명시적인 사용자 요청이 없더라도 관찰되는 환경의 변화에 응답함으로써 선제적 상호작용을 보여준다.

2.3. From Conversation to Voice Agents

앞서 설명한 접근들은 대화형 상호작용의 자연스러움을 향상시켰지만, 실제 배포 환경에서는 또 다른 문제가 발생한다. 사용자는 점점 더 AI 시스템이 단순히 대화하는 것뿐만 아니라, 코드 작성(Zeng et al., 2026), 파일 접근, 외부 도구 호출(Liang et al., 2026), 다단계 워크플로 실행과 같은 실질적인 작업도 수행하기를 기대한다. 이러한 환경에서는 대화형 상호작용과 작업 실행이 밀접하게 연결되어 있지만, 여전히 두 능력이 부분적으로 독립된 형태로 구현되는 경우가 일반적이다.

Qwen Audio Agent(QwenAudio Team, 2026a)는 이러한 문제를 지향하는 시스템의 한 예이다. 이 시스템은 에이전트가 지속적인 음성 상호작용을 유지하면서 더 복잡한 작업을 백엔드 워크플로에 위임할 수 있도록 하는 실시간 음성 런타임을 제공한다. 이러한 작업에는 코드 생성, 컴퓨터 파일 조작, 기타 업무 관련 활동이 포함될 수 있다. 이 설계는 음성 상호작용을 단순한 대화 인터페이스에서 벗어나 에이전트 워크플로에 대한 지속적인 인터페이스로 확장한다.

GPT-Live with Codex¹와 Claude Voice Mode²는 자연스러운 음성 상호작용을 범용 AI 어시스턴트 능력과 결합한 제품 지향적 접근을 보여준다. 이러한 시스템들은 점점 더 복잡해지는 AI 기능을 지속적인 음성 상호작용을 통해 사용할 수 있도록 함으로써, 대화형 인터페이스와 범용 AI 어시스턴트 사이의 구분을 줄인다.

이러한 발전에도 불구하고, 현재의 음성 에이전트 시스템은 실제 상호작용형 워크플로에서 여전히 상당한 어려움에 직면한다. 작업 실행 중 사용자는 에이전트의 작업에 끼어들어 새로운 제약조건을 제공하거나, 후속 질문을 하거나, 이전에 제공한 정보를 수정할 수 있다. 에이전트 역시 작업이 올바르게 진행되도록 하기 위해 중간 결과를 선제적으로 전달하고, 명확화를 요청하며, 추가적인 세부 정보를 요구해야 할 수 있다.

짧은 백채널이 반드시 현재 작업을 종료해야 한다는 의미는 아니다. 다자간 환경에서는 시스템이 배경 소음과 시각 환경의 변화를 동시에 처리하면서 다른 화자의 발화와 관련 있는 사용자의 발화를 구별해야 할 수 있다. 이러한 시나리오에서는 모델이 상호작용 상태, 환경 상태, 작업 상태를 공동으로 추론해야 한다. 따라서 음성을 단순히 입력 및 출력 인터페이스로만 취급하는 것은 진정으로 자연스러운 에이전트 상호작용을 구현하기에 충분하지 않다.

이러한 발전에 착안하여, 우리는 Gander라는 듀플렉스 상호작용 모델을 제안한다. Gander는 end-to-end 상호작용 모델이 자연스러운 실시간 대화를 지원하는 동시에 비동기 에이전트 작업 실행을 조정하는 형태의 상호작용을 탐구한다.

핵심 질문은 대화형 상호작용, 멀티모달 인식, 작업 실행을 서로 분리된 상호작용 단계로 처리하는 대신 하나의 연속적인 과정으로 통합할 수 있는가이다. Gander는 듀플렉스 상호작용 모델과 에이전트 루프를 통해 이러한 능력들을 하나로 결합한다.

Gander는 대화형 상호작용에만 초점을 맞추는 대신, 개방형 대화와 실제 작업 실행 사이를 자연스럽게 오갈 수 있도록 설계되었다. 또한 음성을 단순히 외부 에이전트를 위한 인터페이스로 취급하는 대신, 상호작용 상태 자체를 end-to-end 모델링 과정에 포함시킨다. 이를 통해 대화 행동과 작업 실행을 동일하게 진행 중인 하나의 상호작용 안에서 조정할 수 있다.

3. Gander: Duplex Interaction and Agent Loop

3.1. Overview

Gander는 듀플렉스 상호작용 모델과 비동기 에이전트 루프를 결합하며, 아키텍처적으로 front cerebellum, agent orchestration runtime, back brain으로 구성된다. 

  • front cerebellum은 Thinker-Talker 아키텍처를 기반으로 한 실시간 full-duplex 멀티모달 모델로, 지속적인 멀티모달 인식과 상호작용형 커뮤니케이션을 담당한다. 
  • back brain은 Gander 내에서 추가적인 작업별 학습이 필요하지 않은 범용 작업 실행 에이전트이며, Claude Code나 Codex와 같은 범용 에이전트로 구현된다. 
  • agent orchestration runtime은 front cerebellum과 back brain 사이의 조정 계층으로 기능하며, 실시간 멀티모달 추론과 비동기 백그라운드 작업의 오케스트레이션을 공동으로 관리한다. 
이러한 역할 분담을 통해 세 구성 요소는 지속적인 실시간 상호작용과 복잡한 장기 작업 실행을 함께 지원한다. 아래에서는 각 구성 요소의 아키텍처와 상호작용을 자세히 설명한다.

이 절의 나머지 부분은 다음과 같이 구성된다. Section 3.2에서는 front cerebellum의 활성화와 입력 전달, 중간 agent orchestration runtime, back brain으로부터의 응답 전달을 포함하여 brain과 cerebellum 간의 상호작용을 설명한다. Section 3.3에서는 Thinker-Talker 설계와 멀티모달 상호작용을 위한 streaming chunk flattening 메커니즘을 포함하여 front cerebellum 아키텍처를 자세히 설명한다.


3.2. Cerebellum-Brain Collaborative Framework

Gander는 front cerebellum과 back brain으로 구성된 분리형 2계층 에이전트 아키텍처를 사용한다. Figure 2에 나타난 것처럼, front cerebellum은 지속적인 상호작용을 위한 주요 인터페이스 역할을 하는 실시간 full-duplex 멀티모달 모델로 구현되며, 스트리밍 음성, 카메라, 화면 입력을 처리하고 듣기, 말하기, 짧은 피드백, 끼어들기, 도구 호출을 포함한 상호작용 행동을 자기회귀적으로 결정한다. back brain은 정보 검색, 코드 및 파일 조작, 문서 처리, 기타 장기 작업을 위한 범용 작업 실행 에이전트로 구현된다. 중간의 agent orchestration runtime은 두 계층을 조정하는 실행 기반을 제공하며, 통합된 실시간 멀티모달 추론과 비동기 백그라운드 작업 오케스트레이션을 지원하고 전체 agent harness의 핵심 구성 요소를 이룬다. 이하에서는 이들 구성 요소 사이의 정보 흐름을 세 가지 상호보완적인 관점에서 설명한다.

3.2.1. Front Cerebellum Activation and Summarization

front cerebellum 자체는 GPT-Realtime(OpenAI, 2026) 및 Seed-Realtime(ByteDance Seed Team, 2026a)과 대체로 유사한 실시간 듀플렉스 상호작용 모델이며, 일상적인 대화, 정보 탐색 상호작용, 간단한 검색 기반 작업을 독립적으로 처리할 수 있다. dual-brain 아키텍처에서는 추가적으로 작업 라우팅과 back brain 호출의 역할을 담당한다. 현재 상호작용 맥락을 기반으로 front cerebellum은 요청을 로컬에서 해결할 수 있는지, 또는 back brain으로 위임해야 하는지를 동적으로 판단한다. 간단한 대화 및 단기 작업은 front cerebellum이 직접 처리하는 반면, 다단계 추론, 외부 도구 사용, 장기 실행이 필요한 복잡한 워크플로는 back brain에 위임된다.

Gander에서 이러한 위임 메커니즘은 front cerebellum의 작업 수준 결정을 agent orchestration runtime에 노출하는 구조화된 tool call을 통해 형식화된다. 구체적으로 front cerebellum은 전용 특수 토큰으로 둘러싸인 다음과 같은 도구 호출을 출력한다.

<tool_call> {"name": "tool_state", "arguments": {"key": "value"}} </tool_call>

이 인터페이스는 세 가지 주요 연산인 task_start, task_send, task_resolve를 정의하며, 위의 tool call에서 각각 작업 생성, 점진적인 작업 상호작용, 결정론적인 tool_state 제어에 해당한다. 

  • 특이한점은, 여기서 이 tool call을 프론트 모델이 생성한다는 것이다.
  • 백엔드로 넘겨서 생성하지 않고..? Gpt live는 백엔드에서 처리하는 개념임

세 가지 tool state는 다음과 같이 정의된다.

  • task_start. 새로운 백그라운드 작업을 초기화하고 현재 사용자 턴과 연결한다. 제공된 작업 설명 또는 이름은 이후 lifecycle 관리, 추적, 상호작용을 위한 작업 식별자 역할을 한다.

  • task_send. 이후의 사용자 입력을 기존 작업으로 전달하여, 점진적인 작업 명세와 동적인 작업 수정을 가능하게 한다. 사용자가 추가 정보를 제공하거나, 이전 요청을 수정하거나, 진행 중인 작업을 다른 방식으로 변경할 때 호출된다. 이 연산은 두 가지 라우팅 모드를 지원한다. 1) main: 새로운 입력을 현재 활성 실행 컨텍스트에 통합하여 주 작업을 조정한다. 2) fork: 주 작업의 상태나 실행 경로를 변경하지 않고 읽기 전용 보조 질의를 생성한다.

  • task_resolve. cancel, allow_once, allow_session, deny의 네 가지 resolution action을 통해 작업 lifecycle을 결정론적으로 제어한다. cancel은 활성화된 주 작업을 종료한다. allow_once는 현재 연산을 한 번만 허용한다. allow_session은 현재 작업 세션이 지속되는 동안 해당 권한을 허용한다. deny는 요청된 연산을 거부하고 실행을 차단한다. 이 인터페이스를 통해 front cerebellum은 작업 수준의 제어 결정을 구조적이고 명시적인 형태로 표현할 수 있으며, agent orchestration runtime은 이에 대응하는 상태 전이와 실행 semantics를 결정론적으로 적용한다.

예를 들어 사용자가 처음에 이렇게 말한다고 해보자.

“이 에러 원인 찾아서 고쳐줘.”

이건 단순 대화가 아니라 백그라운드에서 코드 확인, 수정, 테스트까지 해야 하는 작업일 수 있으니까 front cerebellum이 새 작업을 만든다.

<tool_call>
{"name": "task_start", "arguments": {"task": "에러 원인 분석 및 수정"}}
</tool_call>

의미는 그냥 **“새 작업 하나 시작해”**에 가깝다.

그다음 back brain이 작업하고 있는 중에 사용자가 추가로 말한다.

“아, Python 3.12 호환성도 유지해줘.”

그러면 새 작업을 만드는 게 아니라 기존 작업에 조건을 추가해야 하니까 task_send를 쓴다.

<tool_call>
{"name": "task_send", "arguments": {
  "task_id": "T1",
  "mode": "main",
  "content": "Python 3.12 호환성도 유지해줘"
}}
</tool_call>

여기서 main은 현재 진행 중인 본 작업 자체를 수정하는 거야.

반대로 사용자가 작업을 바꾸려는 게 아니라, 진행 중인 작업과 관련해서 잠깐 질문만 한다고 해보자.

“근데 지금 발견한 에러 원인이 뭐야?”

이 질문 때문에 기존 수정 작업의 실행 상태를 바꾸고 싶지는 않다. 이럴 때 fork를 사용할 수 있어.

<tool_call>
{"name": "task_send", "arguments": {
  "task_id": "T1",
  "mode": "fork",
  "content": "현재까지 발견한 에러 원인이 뭐야?"
}}
</tool_call>

즉,

  • main = 본 작업에 반영
  • fork = 본 작업은 건드리지 않고 옆에서 질문만

이라고 보면 된다.

task_resolve는 작업 자체에 대한 제어라기보다, 특히 취소나 권한 승인/거절 같은 lifecycle control에 가깝다.

예를 들어 사용자가:

“그 작업 취소해.”

라고 하면,

<tool_call>
{"name": "task_resolve", "arguments": {
  "task_id": "T1",
  "action": "cancel"
}}
</tool_call>

이런 식으로 현재 작업을 종료한다.

또 back brain이 파일 삭제 같은 민감한 작업을 하려고 해서 승인이 필요하다고 해보자.

“이 파일 삭제해도 될까요?”

사용자가:

“이번 한 번만 허용해.”

라고 하면:

action: "allow_once"

사용자가:

“이 작업 진행하는 동안은 계속 허용해.”

라고 하면:

action: "allow_session"

사용자가:

“안 돼, 하지 마.”

라고 하면:

action: "deny"

가 되는 식이야.

핵심만 정리하면:

  • task_start: 새 일을 하나 만든다
  • task_send(main): 기존 일에 새 지시를 반영한다
  • task_send(fork): 기존 일은 그대로 두고 옆에서 질문한다
  • task_resolve: 취소하거나 권한을 허용/거절한다

논문 Figure 3의 흐름도 거의 이 예시 그대로야. 처음에 “에러 찾아서 고쳐줘”로 task_start를 하고, 작업 중 사용자가 “Python 3.12 호환성도 유지해”라고 추가하면 task_send(T1, main)으로 기존 작업을 수정하는 구조다. 

이 백엔드로 넘어가는 것은 모델(프론트)가 알아서 생성하는 개념 

Figure 3은 대표적인 사용 사례를 통해 front cerebellum과 back brain의 워크플로를 보여준다. 여기서 T는 작업(task)을 나타내고, E는 back brain 실행을 나타낸다. front cerebellum은 task_start를 통해 back brain tool call을 시작한다. back brain이 실행되는 동안 사용자는 front cerebellum과 대화를 이어가거나 task_send를 통해 이전에 요청한 작업을 수정할 수 있다.

앞서 설명한 것처럼 front cerebellum이 다양한 tool calling 시나리오를 트리거하는 경우, front cerebellum은 오디오 질의의 전사 텍스트와 입력 비디오의 관련 마지막 프레임들을 함께 중간 agent orchestration runtime으로 전달하며, 이것이 back brain의 입력으로 사용된다. 

즉 오디오 질의를 전사한 텍스트와, 마지막 프레임들을 함께 백엔드로 넘김. 물론 위에서 말한 tool 관련된 , 어시스턴트가 생성한 special 포맷들도 같이 넘어가는것

이러한 설계에는 몇 가지 열린 설계 문제가 존재한다. 

  • 예를 들어 front cerebellum이 다음 단계로 전달하기 전에 전사된 질의를 바탕으로 추가적인 추론을 수행해야 하는지, 그리고 학습 가능한 back brain이 사용자의 전체 멀티모달 입력 스트림을 실시간으로 직접 수신할 수 있는지 등이 있다. 
  • Gander에서는 가장 단순한 접근을 채택하여, 전사된 질의와 관련 마지막 비디오 프레임을 그대로 back brain의 입력으로 사용한다.
  • 입력된 질의를 그대로 넘길지, 질의 생성같은 추론을 한번 태울지 필요할지 정할 수 있을텐데.. 여기서는 그대로 보내는 것을 택했다고함

two-brain 아키텍처에서 front cerebellum은 back brain이 반환한 결과를 요약하고 사용자에게 최종 응답을 생성하는 역할도 담당한다. 이 과정에는 요약이 back brain의 중간 실행 상태를 기반으로 해야 하는지, 또는 최종 결과를 기반으로 해야 하는지와 같은 여러 시나리오가 포함된다. 저자들은 이를 학습 데이터와 목표 상호작용 시나리오에 의해 결정되는 data scaling상의 설계 선택으로 본다. 멀티모달 상호작용의 상호작용성을 유지하기 위해, 합성된 응답은 단순한 텍스트 기반 작업 완료 응답으로 구성되는 것이 아니라 자연스러운 대화형 음성 전달에 최적화된다.

3.2.2. Agent Orchestration Runtime

agent orchestration runtime은 주로 front cerebellum과 back brain 사이의 조정 계층 역할을 한다. 실시간 멀티모달 데이터 전송과 백엔드 작업 오케스트레이션을 위한 통합 인터페이스를 제공함으로써, runtime은 듀플렉스 상호작용 에이전트를 상호작용형 작업 실행을 위한 하나의 통합된 harness로 만든다. 실시간 상호작용을 위해 runtime은 오디오 및 비주얼 스트림 입력, 점진적 추론 스케줄링, 모델 호출의 직렬화, static prefix caching, 그리고 서로 다른 비주얼 입력 간에 지속되는 상태를 사용하는 source-aware rate limiting을 관리한다. 또한 runtime은 front cerebellum이 생성한 task_start, task_send, task_resolve 연산을 transport layer에서 확인된 최종 사용자 턴에 결합한다. 이를 통해 작업 목표가 front cerebellum이 독립적으로 생성한 tool parameter가 아니라, 인증된 사용자 입력에 일관되게 기반하도록 보장한다.

agent orchestration runtime은 두 가지 제어 모드인 lean과 coordinator를 지원한다.

(1) lean mode에서는 runtime이 front cerebellum이 분류한 작업 action을 직접 실행하고, 원래의 사용자 턴을 back brain에 대한 instruction으로 사용한다. 이 방식은 더 짧은 제어 경로, 더 낮은 추가 지연, 더 높은 결정성, 더 적은 잠재적 모델 실패 지점을 제공하므로, front cerebellum이 신뢰할 수 있는 작업 라우팅을 제공하는 상황에 적합하다. 단점은 작업 구성이 대부분 배포 시점에 결정된다는 점이다. 따라서 개별 작업의 의미에 따라 reasoning intensity, supervision policy, notification granularity를 동적으로 조절하기 어렵다. 또한 일상적인 중간 이벤트들이 delivery pipeline을 통해 직접 전달될 가능성이 더 높다.

(2) coordinator mode에서는 front cerebellum과 gateway 사이에 독립적인 control-plane model을 추가한다. coordinator는 신뢰할 수 있는 사용자 요청과 제한된 시스템 상태를 조건으로, reasoning intensity, questioning policy, permission policy, result delivery strategy를 지정하는 실행 지시를 생성한다. 이 설계는 복잡한 작업 계획과 감독 결정을 실시간 front cerebellum으로부터 분리하지만, 그 대가로 추가적인 모델 호출, 지연, 계산 오버헤드, 비결정성이 발생한다. coordinator는 선언적 control plan만 생성하며, 사용자 작업을 직접 실행하거나 파일, shell, network resource에 접근하지 않는다. 이후 coordinator의 출력은 runtime의 핵심 제어 구성 요소인 gateway에 의해 현재 task state, provider capability, permission boundary, deployment configuration을 기준으로 구조화된 검증을 거친다. 현재 구현에서는 coordinator가 주로 task_start에 관여하며, task_send와 task_resolve는 gateway가 직접 처리한다.

lean mode는 내가 생각한 일반적으로 프론트 모델이 만든 tool 관련 쿼리를 바로 백엔드로 넘기는 방식을 말하는거고

coordinator mode는 중간 관리자를 둬서 어떻게 task를 해결하지 정하고 그다음 백엔드로 넘기는 방식을 말하는 듯

  • reasoning intensity: high
  • questioning policy: 필요한 경우 사용자에게 질문
  • permission policy: 파일 삭제 전 승인 필요
  • result delivery: 중요한 중간 결과만 사용자에게 알려주기
이러한 것을 정하는거고 task_start 할때만 개입하는 식

Gateway는 Runtime의 지속적인 orchestration core 역할을 한다. Table 1에 나타난 것처럼, gateway는 Project, Task, Run, WorkerEvent, Delivery의 다섯 가지 persistent entity를 중심으로 백엔드 실행을 구성한다. 또한 task state transition, worker scheduling, workspace isolation, concurrency control, permission handling, result delivery를 관리한다.

서로 다른 back brain은 통합된 Worker Provider 인터페이스를 통해 연결되며, 각 Provider는 자신이 지원하는 기능을 명시한다. 여기에는 native steering, read-only side query, user interaction, cross-process recovery, 지원 입력 modality, context acquisition mechanism, parallel execution 등이 포함된다. 현재 기본 back brain은 Codex app server를 사용해 구현되며, 각 task lineage는 실행 중 점진적으로 업데이트할 수 있는 지속적인 Codex thread와 연결된다. 사용자의 후속 지시는 활성 thread에 직접 주입할 수 있으며, read-only side query는 주 thread와 workspace의 상태를 보존하기 위해 격리된 fork에서 실행된다.

3.2.3. Training Free Back Brain

back brain은 추가적인 학습 없이 통합되는 범용 작업 실행 에이전트이며, Codex나 Claude Code와 같은 시스템으로 구현된다. 이는 정보 검색, 코드 및 파일 조작, 문서 처리, 그리고 기타 도구 기반 워크플로를 포함한 장기 추론과 지속적인 작업 실행을 담당한다.

back brain은 자체적으로 제공하는 파일, command line, retrieval 도구 외에도 runtime에 특화된 세 가지 인터페이스를 호출할 수 있다.

  1. context_fetch: reference, role, event type, time range, character budget을 기반으로 현재 task lineage에서 실시간 task context, event, artifact를 검색한다.

  2. memory_search: 여러 세션에 걸쳐 지속적으로 저장된 멀티모달 memory를 검색한다.

  3. share: 검증된 중요한 발견 사항, 중간 진행 상황, 또는 수정이 필요한 정보를 실시간 front cerebellum으로 반환한다.

3.3. Streaming Thinker-Talker Architecture

이 절에서는 Gander의 front cerebellum과 그 멀티모달 상호작용 능력을 자세히 설명한다. Figure 4에 나타난 것처럼, front cerebellum은 스트리밍 오디오 및 비디오 입력을 받아 텍스트와 오디오 출력을 모두 생성하는 Thinker-Talker 아키텍처(Cui et al., 2026)를 기반으로 한다. 이러한 설계를 바탕으로, 우리는 end-to-end 상호작용을 위한 streaming chunk flattening mechanism을 도입한다. 이 메커니즘은 인식 입력과 생성 출력을 하나의 통합된 chunk stream으로 평탄화하며, 모델이 각 chunk마다 들을지 말할지를 동적으로 결정할 수 있도록 한다.

3.3.1. Multimodal Perception

front cerebellum은 동시에 동작하는 두 개의 modality encoder를 통해 환경을 인식한다. 하나는 visual stream을 처리하고, 다른 하나는 acoustic stream을 처리한다. 그리고 이들의 출력을 LLM backbone의 token space로 projection하여 모든 인식 정보가 공유된 interaction timeline 위에 등록되도록 한다. 두 encoder 모두 완전한 video clip이나 발화가 끝날 때까지 기다린 뒤 representation을 생성하지 않는다. 대신 고정된 길이의 window를 기준으로 점진적으로 동작하므로, 시각 및 청각 관찰 정보가 turn boundary에서만 제공되는 것이 아니라 streaming interaction의 매 단계마다 지속적으로 갱신되어 backbone에 제공된다. 아래에서는 두 perception pathway를 설명한다.

Visual perception. 실시간 환경에서 token budget을 감당 가능한 수준으로 유지하면서 임의의 aspect ratio와 resolution을 가진 frame을 입력하기 위해, visual pathway는 any-resolution partitioning scheme(Guo et al., 2024)을 따른다. 먼저 각 frame을 여러 slice로 분해하고, 각 slice를 SigLIP vision transformer(Zhai et al., 2023)를 이용해 독립적으로 encoding한다. 이후 생성된 patch feature를 query-based resampler(Yao et al., 2024)를 통해 각 slice당 작고 고정된 수의 visual token으로 압축한다. 이 과정은 원래의 raw patch grid와 비교해 약 16배의 감소를 달성하며, 많은 기존 멀티모달 모델에서 사용된 4배 압축보다 훨씬 강한 압축으로, 지속적인 perception에 필요한 frame당 비용을 크게 줄인다. full-duplex interaction에서는 frame이 조밀하게 도착하고 짧은 시간 window 안에 처리되어야 하므로 엄격한 latency 조건이 요구된다. 이에 따라 cerebellum은 최대 448 × 448의 compact resolution에서 동작하며, 이를 통해 frame당 token 수를 실시간으로 지속적인 perception을 유지할 수 있을 만큼 작게 유지한다.

Acoustic perception. 주변 환경과 사용자 음성을 모두 전달하는 acoustic stream은 streaming 및 chunk-wise speech encoder(Radford et al., 2023)를 통해 처리되며, 초당 약 50 frame 수준의 dense한 frame-level feature sequence를 출력한다. 이 속도의 feature를 그대로 backbone에 전달하면 sequence length가 지나치게 증가하여 실시간 동작에 필요한 효율성을 저해한다. 따라서 저자들은 lightweight MLP projector를 중간에 두고 5배 temporal downsampling을 적용하여, feature가 backbone에 입력되기 전에 effective audio token rate를 초당 약 10 token으로 낮춘다. 이러한 압축은 정확한 spoken-language understanding에 필요한 phonetic 및 prosodic cue를 유지하면서도 audio stream의 처리량을 backbone의 decoding throughput과 비슷한 수준으로 맞춘다. 이를 통해 어느 하나의 modality도 각 window에 할당된 shared budget을 독점하지 않도록 한다.

두 pathway를 함께 사용함으로써, 매 window마다 주변 환경에 대한 compact하고 시간적으로 동기화된 정보를 backbone에 제공한다. 이렇게 정렬된 visual 및 audio token stream은 이후 Section 3.3.2에서 설명하는 메커니즘을 통해 모델 자체의 출력과 interleave된다. 바로 이 구조를 통해 front cerebellum은 각 chunk마다 계속 들을지, 아니면 말하기를 시작할지를 결정할 수 있다.

3.3.2. Streaming Chunk Flattening

front cerebellum이 하나의 자기회귀 과정 내에서 인식과 응답을 모두 수행할 수 있도록, 우리는 최근 interaction model(Lab, 2026)의 방식과 유사한 flattened interaction formulation을 채택한다. 여기서는 모든 modality와 입력 및 출력을 공유된 시간축을 따라 하나의 causal token stream으로 직렬화한다. 이러한 관점에서 사용자 요청은 더 이상 생성을 시작하게 만드는 특별한 대화 역할로 취급되지 않는다. 대신 들어오는 speech와 vision은 지속적으로 관찰되는 world state의 일부로 간주되며, 모델은 항상 활성화된 환경 속에서 각 chunk마다 무엇을 생성할지뿐만 아니라, 생성할지 여부와 언제 생성할지도 결정해야 한다.

구체적으로, 연속적인 상호작용을 고정된 1초 window로 나누고, 각 window마다 하나의 chunk를 구성한다. 각 chunk는 시간적으로 정렬된 세 부분을 flatten하여 연결한 형태로 구성된다. 즉, 해당 1초 window 동안 관찰된 encoded audio 및 visual token, 예측된 control token, 그리고 모델이 응답으로 생성하기로 선택한 \(N\)개의 text token으로 이루어진다. 여기서 \(N\)은 모델에 의해 결정되며 0일 수도 있다. 이후 연속적인 chunk들을 하나의 sequence로 연결하여 interaction을 직렬화하고, 이를 표준 causal language backbone이 처리한다.

각 chunk 내에서 모델은 먼저 새롭게 들어온 perceptual token에 attention한 뒤에 출력을 생성한다. 따라서 생성되는 모든 token은 가장 최근의 관찰 정보를 조건으로 한다. 모델이 각 window마다 한 번씩 결정을 내리기 때문에, proactive behavior 역시 동일한 메커니즘에서 자연스럽게 나타나며 응답을 시작하기 위한 별도의 external voice activity detection module이 필요하지 않다. 또한 perceptual segment와 generated segment 사이의 경계를 명시적으로 표시함으로써, 모델이 관찰된 입력과 자신의 출력을 구분하는 데 도움을 주고 streaming decoding을 안정화한다.

context는 128개 chunk의 고정된 budget을 통해 관리하며, 이는 약 2분간의 interaction에 해당하는 rolling temporal receptive field를 구성한다. 대화가 진행됨에 따라 이 window는 sliding 방식으로 이동한다. budget에 도달하면 새로운 chunk가 추가되는 동시에 가장 오래된 chunk가 제거된다. 이를 통해 effective context length는 제한된 상태로 유지하면서도, 모델은 가장 최근의 상호작용 관련 history를 유지할 수 있다. 이러한 방식은 긴 session에서도 context에 의존하는 step별 inference cost를 제한하고, flattened sequence가 무한정 길어지는 것을 방지한다.

각 chunk의 output segment 맨 앞에서 예측되는 control token은 상호작용을 제어하며 세 가지 값 중 하나를 갖는다.

  1. Listen token은 모델이 현재 window에서는 말하지 않고 계속 관찰하기로 선택했음을 의미한다. 이 경우 output segment에는 text가 포함되지 않으며, 해당 chunk에서는 perception만 진행된다.

  2. Speak token은 모델이 현재 window에서 spoken content를 생성하기로 결정했음을 의미한다. 이에 따라 이후 \(N\)개의 text token이 생성되고, speech synthesis를 위해 downstream으로 전달된다.

  3. Interrupt token은 변화하는 context에 따라 진행 중인 발화를 중단할 수 있도록 한다. 예를 들어 사용자가 말하기 시작하거나, 장면이 변화하여 현재 생성 중인 응답이 더 이상 적절하지 않게 된 경우에 사용할 수 있다.

이처럼 실제 content를 생성하기 전에 discrete control decision을 먼저 예측하면, 말할 것인지 여부에 대한 결정과 무엇을 말할 것인지에 대한 결정을 분리할 수 있다. 저자들은 이 두 결정을 하나의 prediction step에 결합하는 것보다 이러한 방식이 더 안정적인 full-duplex behavior를 제공한다고 설명한다.

3.3.3. Speech Generation

LLM backbone이 acoustic unit을 직접 출력하도록 하는 대신, front cerebellum은 semantic planning과 acoustic realization을 분리하고 waveform 생성을 두 개의 lightweight speech decoder에 위임한다. 일반적으로 text보다 훨씬 높은 frame rate로 생성되는 speech token을 language backbone이 자기회귀적으로 직접 생성하도록 하면 초당 decoding step 수가 크게 증가할 뿐만 아니라 모델의 핵심 언어 능력도 저하되는 경향이 있다(Xie and Wu, 2024). 따라서 backbone은 text domain에 유지하고 acoustic modeling을 compact한 downstream module에 맡김으로써, cerebellum은 backbone의 reasoning 및 instruction-following 능력을 유지하면서 인간의 발화 속도와 유사한 수준으로 실시간 음성 상호작용을 수행할 수 있다. 생성 pipeline은 두 단계로 진행된다. 먼저 speech token decoder가 discrete speech unit을 생성하고, 이후 streaming flow matching decoder가 이를 audio waveform으로 변환한다.

Speech token generation. 자연스러운 음성을 생성하려면 정확한 발음뿐만 아니라 주변 context와 사용자의 요청에 부합하는 prosody, emphasis, speaking style도 필요하다. 이를 위해 backbone의 final-layer hidden state를 가져와 projection layer를 통해 변환한 뒤, text token과 함께 작은 autoregressive speech token decoder에 입력하여 대응되는 discrete speech token을 생성한다(Du et al., 2024a). prosody와 style에 대한 결정이 사실상 backbone의 hidden state에 미리 encoding되어 있기 때문에, speech decoder는 high-level planning을 담당할 필요가 없으며 제한된 capacity를 세밀한 acoustic modeling에 집중할 수 있다. discrete unit 자체는 최근 scalable speech synthesizer의 supervised semantic token formulation(Du et al., 2024b)을 따르며, 하나의 codebook을 사용하는 low-bitrate representation을 생성한다. 이는 autoregressive prediction에 적합한 형태이다.

생성되는 음성이 동시에 관찰되는 환경과 긴밀하게 연결되도록 하기 위해, input text token과 output speech token은 서로 분리된 pass에서 생성되지 않고 Section 3.3.2에서 설명한 time-aligned scheme에 따라 공유된 timeline 위에서 interleave된다.

Waveform synthesis. discrete speech token은 streaming flow matching decoder(Du et al., 2024b, 2025)를 통해 연속적인 waveform으로 변환된다. multimodal system prompt에 포함된 reference audio를 조건으로, decoder는 conditional flow matching objective를 이용해 semantic token으로부터 target mel-spectrogram을 복원한 뒤 이를 audio로 변환한다. 이를 통해 cerebellum은 zero-shot voice control 능력도 갖게 된다. 즉, 합성되는 음성의 timbre와 vocal identity는 학습 시점에 고정되는 것이 아니라 reference audio에 의해 결정된다.

중요하게도 decoder는 chunk-wise하고 causal한 방식으로 동작한다. 따라서 전체 발화가 모두 decoding될 때까지 기다리는 대신, speech token이 들어오는 즉시 waveform chunk를 점진적으로 출력한다. 이러한 streaming 설계는 speech output의 end-to-end latency를 낮게 유지하고 audio stream을 지속적으로 생성하고 재생할 수 있도록 하며, 이는 front cerebellum이 지원하도록 설계된 full-duplex interaction을 위한 필수 조건이다.

5. Experiments 핵심 정리

실험은 크게 3가지 능력을 따로 본다.

  1. Full-duplex interaction + tool use
  2. Spoken conversation
  3. Multimodal understanding

서로 평가 방식과 참여하는 구성요소가 달라서 점수를 직접 비교하지는 않는다. 2609.08977v3

5.1. Evaluation Setup

  • 하나의 Gander checkpoint로 모든 실험 수행
  • 음성 출력이 필요한 경우 Talker + streaming speech decoder 사용
  • benchmark-specific tuning 없음
  • back brain이 필요한 경우 Codex worker provider + GPT-5.6을 training-free로 사용 2609.08977v3

평가는 다음처럼 나뉜다.

  • Full-Duplex-Bench v3

    • 100개 scenario
    • tool selection, argument correctness, response quality, Pass@1
    • 그리고 상호작용 측면에서
      • Take-turn
      • Interrupt
      • Filler
    • end-to-end로 실제 speech synthesis와 ASR error까지 포함해서 평가함
    • 별도로 back-brain-only 조건도 평가해서 front cerebellum 없이 backend 자체 성능도 확인함. 2609.08977v3

  • SpokenQA / VoiceBench

    • 총 2,052개 utterance
    • 이 실험에서는 사실상 front cerebellum의 음성 이해/대화 능력을 평가함. 2609.08977v3

  • WorldSense / Daily-Omni

    • 총 4,369개 multiple-choice QA
    • 이 경우는 turn-based 설정이고 back brain도 사용하지 않음
    • audio+video / video only / audio only로 modality ablation도 수행함. 2609.08977v3

5.2. Full-Duplex Interaction

여기서 가장 중요한 결과는 상호작용 timing은 매우 좋지만, 실제 tool task accuracy는 상대적으로 낮다는 것.

Gander:

  • Take-turn: 100%
  • Interrupt: 8.0% → 비교 모델 중 가장 낮음
  • ToolSel: 0.759
  • ArgAcc: 0.503
  • RespQual: 0.490
  • Pass@1: 0.400

즉 사용자가 언제 말을 끝냈는지 판단하고 적절한 순간에 들어가는 능력은 강함. 특히 GPT-Realtime의 interrupt 13.5%보다 낮다. 2609.08977v3

반면 실제 task/tool accuracy에서는 다른 baseline보다 낮은 편이다. 저자들은 Gander가 content를 생성하기 전에 interaction decision을 먼저 예측하기 때문에 단순한 acoustic silence가 아니라 semantic completion까지 기다릴 수 있다는 점을 장점으로 본다. 다만 filler rate는 51.6%로 높아서 불필요한 중간 발화는 개선 여지가 있다. 2609.08977v3

Back-brain-only 결과가 중요함

front cerebellum과 speech path를 제거하고 user transcript를 바로 back brain에 넣으면:

  • ToolSel: 0.934
  • RespQual: 0.740
  • Pass@1: 0.520

으로 크게 좋아진다.

즉 backend agent 자체의 tool-use 능력은 강한데, end-to-end Gander가 되면서 성능이 떨어진다는 뜻이다. 저자들은 원인으로:

  1. front cerebellum이 언제 delegate할지 판단해야 한다는 점
  2. 최종 결과가 speech synthesis → ASR를 거쳐 평가된다는 점

을 든다. 다만 두 원인을 따로 분리한 실험은 하지 않았다. 2609.08977v3

5.3. Spoken Conversation

Gander는 full-duplex streaming model끼리 비교하면 SpokenQA에서 가장 좋다.

  • Llama Questions: 75.60
  • Web Questions: 59.30

Audio-Interaction보다 각각 +8.29, +4.96 높고, Moshi보다도 크게 높다. 2609.08977v3

VoiceBench에서는:

  • AlpacaEval: 3.96
  • SD-QA: 46.84

로 Audio-Interaction보다는 조금 낮다.

흥미로운 점은 turn-based model까지 포함해도 SpokenQA에서는 전체 2위 수준이라는 것. 즉 streaming/full-duplex 제약이 있어도 factual spoken QA 능력을 꽤 잘 유지한다는 게 저자들의 핵심 주장이다. 2609.08977v3

그리고 이 2,052개 sample에서는 back brain을 단 한 번도 호출하지 않았다.

즉 Table 4 결과는 전부 front cerebellum 단독 성능이다. 저자 의도상 간단한 QA는 front에서 바로 처리하고, long-horizon tool task만 backend로 보내는 구조라는 걸 보여준다. 2609.08977v3

5.4. Multimodal Understanding

Gander는 interaction training 이후에도 기존 MiniCPM-o 4.5의 multimodal 성능을 어느 정도 유지한다.

ModelWorldSenseDaily-Omni
MiniCPM-o 4.555.7080.20
Gander49.6278.53

Daily-Omni는 -1.67 정도로 거의 유지되지만, WorldSense는 -6.08로 감소한다. 2609.08977v3

저자들은:

  • Daily-Omni → audio-video temporal reasoning
  • WorldSense → counting, localization 같은 fine-grained perception

차이 때문이라고 본다. 즉 streaming interaction 쪽으로 학습하면서 temporal multimodal reasoning은 잘 보존했지만 세밀한 perception 성능은 조금 희생됐다는 해석이다. 2609.08977v3

Audio + Video fusion 효과

두 modality를 같이 쓰는 것이 각각 하나만 쓰는 것보다 명확히 좋다.

  • WorldSense: +5.01
  • Daily-Omni: +19.13
  • Overall: +8.88

특히 Daily-Omni에서 audio와 video를 함께 보는 효과가 매우 크다. 2609.08977v3

실험 전체 핵심

이 논문의 실험 메시지는 거의 세 줄로 정리할 수 있어.

  • 상호작용 timing은 강함: 언제 듣고 언제 말해야 하는지에 대해서는 Gander가 매우 좋은 결과를 보임.
  • 실제 agent task 정확도는 병목이 있음: back brain 자체는 강한데, front routing + speech path를 거친 end-to-end 성능은 떨어짐.
  • full-duplex를 추가해도 기본 QA/멀티모달 능력을 상당 부분 유지함: 특히 spoken QA와 audio-video fusion에서는 좋은 결과를 보임.

그래서 이 논문이 가장 강하게 보여주는 건 “강력한 backend agent를 붙이는 것” 자체보다, 실시간 full-duplex front와 long-horizon backend를 어떻게 연결할 수 있는가 쪽이야.

6. Conclusion and Limitation

본 연구에서는 Brain–Cerebellum 프레임워크와 streaming chunk 기반 패러다임을 바탕으로 구축된, 비동기 agent loop를 갖춘 duplex interaction model인 Gander를 제안한다. Gander는 multimodal understanding, realtime interaction, long-horizon agentic execution을 하나의 시스템 안에 결합한다. 다만 여전히 몇 가지 한계와 향후 연구 방향이 남아 있다.

  • Data and Model Scaling. 실험 결과, agent invocation과 conversational behavior는 특히 복잡한 multimodal scenario에서 training data distribution에 여전히 민감한 것으로 나타났다. 데이터와 모델 capacity를 확장하는 것은 interactive capability와 agentic capability의 robustness 및 generalization을 향상시키기 위한 유망한 방향이다.

  • Stable Post Training. 현재 Gander 모델은 long-horizon duplex interaction agent scenario를 대상으로 on-policy distillation(Cao et al., 2026; Fu et al., 2026)(OPD)이나 reinforcement learning(Chen et al., 2026; Ji et al., 2025d; Li et al., 2026; Shao et al., 2024)(RL)을 이용해 충분히 최적화되지 않았다. 효과적인 reward design, credit assignment, optimization stability는 특히 multimodal interaction과 agentic execution을 함께 수행하는 환경에서 여전히 해결되지 않은 문제로 남아 있다. Brain–Cerebellum 아키텍처는 또한 local interaction quality와 global task objective를 어떻게 조정할 것인지에 대한 새로운 문제를 제기하며, 보다 안정적이고 확장 가능한 post-training 방법의 개발을 요구한다.

  • Brain–Cerebellum Architectural Exploration. Brain–Cerebellum 프레임워크는 low-latency streaming interaction과 long-horizon reasoning을 가능하게 한다. 현재 설계는 두 구성 요소 간의 communication에 주로 ASR-derived signal을 사용한다. 향후에는 Brain에서 Cerebellum으로의 정보 전달을 개선하고 Cerebellum에서 Brain으로의 보다 효과적인 feedback을 제공하는 것을 포함해, 더 풍부하고 구조화된 bidirectional communication을 탐구할 필요가 있다. 이를 통해 realtime interaction과 long-horizon reasoning을 더욱 효과적으로 조정할 수 있을 것이다.

  • Memory and Long Context Management. Multimodal agentic interaction은 긴 multimodal history, tool call, 지속적으로 변화하는 task state를 포함하기 때문에 long-horizon context 및 memory management에 어려움이 존재한다(Xie et al., 2026a). 장시간의 interaction에서도 task-relevant information을 효율적으로 유지하고 검색할 수 있는 mechanism을 개발하는 것은 중요한 향후 연구 방향이다.

  • Evaluation. 기존 benchmark는 대부분 multimodal understanding, duplex interaction, agentic execution을 개별적으로 평가하기 때문에, 이들을 통합한 duplex interaction agent setting에 대한 평가는 여전히 충분하지 않다. 또한 기존 benchmark는 component 간 communication과 coordination을 포함한 Brain–Cerebellum collaboration을 충분히 평가하지 못한다. 지속적인 user–agent collaboration에 대한 추가적인 평가는 현재의 benchmark와 conversational naturalness에 대한 human assessment를 보완할 수 있을 것이다.

종합하면, Gander는 통합된 duplex interaction agent architecture를 위한 기반을 제공한다. 신뢰할 수 있는 long-horizon deployment로 나아가기 위해서는 scaling, post training, Brain–Cerebellum coordination, memory, evaluation 측면에서 추가적인 발전이 필요하며, 특히 지속적인 realtime interaction과 복잡한 task execution 환경에서 이러한 개선이 중요하다.

Reference

댓글

댓글 쓰기