AI Information

ABSTRACT 실시간 음성-대-음성(Speech-to-Speech, S2S) 모델은 자연스럽고 지연 시간이 짧은 대화 응답을 생성하는 데 뛰어나지만, 깊이 있는 지식과 의미적 이해가 부족한 경우가 많다. 반면 자동 음성 인식, 텍스트 기반 대규모 언어 모델(LLM), 그리고 텍스트-대-음성 합성을 결합한 캐스케이드 시스템은 더 우수한 지식 표현 능력을 제공하지만, 높은 지연 시간으로 인해 자연스러운 상호작용의 흐름을 방해한다. 본 논문에서는 이러한 두 패러다임 사이의 격차를 해소하기 위한 새로운 하이브리드 아키텍처를 제안한다. 제안하는 프레임워크는 즉각적인 응답성을 확보하기 위해 사용자의 음성을 S2S Transformer로 처리하는 동시에, 해당 질의를 강력한 백엔드 LLM으로 전달한다. 이후 LLM이 생성한 텍스트 응답을 실시간으로 주입하여 S2S 모델의 음성 생성을 유도한다. 이를 통해 캐스케이드 시스템의 전체 지연 비용을 감수하지 않으면서도, S2S 모델의 출력에 풍부한 지식을 효과적으로 통합한다. 우리는 다중 턴 질의응답 세션으로 구성된 MT-Bench 벤치마크의 음성 합성 변형을 사용하여 제안 방법을 평가하였다. 실험 결과, 제안 시스템은 응답의 정확성 측면에서 기본 S2S 모델을 크게 능가하고 캐스케이드 시스템에 근접하는 성능을 보였으며, 동시에 기본 S2S 모델과 유사한 수준의 지연 시간을 유지하였다. 색인어— 대화형 인공지능, 대규모 언어 모델, 실시간 시스템, 질의응답. 1. 서론 완전 이중화(full-duplex) 대화형 음성 모델은 인간과 디지털 비서 간의 자연스러운 상호작용을 실현하기 위한 가장 유망한 모델 중 하나이다 [1, 2]. 이러한 모델은 사용자의 질의를 지속적으로 청취하면서 동시에 응답할 수 있기 때문에, 다양한 인간-기계 인터페이스에 새로운 가능성을 제공한다. 특히 질의응답이나 브레인스토밍처럼 인간과 기계 사이의 빠른 상호작용이 필요한 응용에서 그 잠재력이 크다. 최근 대규모 Transformer의 발전에 힘입어, 이러한...

◼ Comment MoshiRAG보다 먼저 나온 논문이고, 검색하는 시간을 줄일 수 있는 방법을 제시한다는 점 사실 아이디어자체는 엄청 특별한 느낌은 아니긴하지만, 누구나 백그라운드 모델을 이런식으로 해볼 수 있다는 생각을 직접해본 느낌 정확히는 RAG로 검색모듈만 붙이는 형태긴함 여기서 제안하는 방법은 2개임 Fixed-Interval Streaming RAG Model-triggered Streaming RAG Fixed-Interval Streaming RAG 예시) 사용자발화 :“2020년에 아카데미 작품상을 받은 영화가 뭐야?” 1초 단위로 블럭을 만든다고 하자 (논문에서 fixed 방법은 1초, triggered은 0.5초) 1초 시점: 2020년 -> 질의 생성 q1 -> 2020년 -> 검색 -> r1 2초 시점: 2020년에 아카데미 -> 질의 생성 q2 -> 2020년 아카데미 -> 검색 -> r2 3초 시점: 2020년에 아카데미 작품 -> 질의 생성 q3 -> 2020년 아카데미 작품 -> 검색 -> r3 4초 시점: 2020년에 아카데미 작품상을 받은 -> 질의 생성 q4 -> 2020년 아카데미 작품상 -> 검색 -> r4 5초 시점: 2020년에 아카데미 작품상을 받은 영화가 -> 질의 생성 q5 -> 2020년 아카데미 작품상 영화 -> 검색 -> r5 끝난 시점: 2020년에 아카데미 작품상을 받은 영화가 뭐야? -> 질의 생성 q6 -> 2020년 아카데미 작품상 영화 -> 검색 -> r6 이렇게 주기적으로 검색 질의 만들어서 검색한다는 것이다 당연히 뒤로 갈수록 검색결과가 좋아질 것이다 Reflector는 이 검색결과 비교해서 r6와 같은 결과인 시점을 찾는다 여기서 정확히는 r6 전체를 반환받을때까지 기다리면 그냥 r6을 써도 되는거니까 전체 결과를 기다리는게 아니라 예로 상위 5개 문서정도까지만(...

◼ Comment 이 모델은 Moshi 모델에 백그라운드 모델을 붙여서 학습한 모델이다. 내가 생각한 문제점 일단 모든 백그라운드 응답이 moshi가 제대로 답변하기 전까지 온다는 가정 어쩔때 interaction으로 보내야하는지 판단하는게 애매함.  그냥 학습데이터에서 검색이 필요하다고 판단하면 모두 보내는 형식으로 만들어졌음. 사실 moshi가 그럴 필요없이 바로 대답할 수 있는 경우도 있을텐데 혹시 모델이 답하기전에 미리 검색여부를 알 수 없을까 이런것 <ret>까지 기다리지 않고 미리미리 유저 발화에서 미리 캐치할 수 없나 직관적으로는 다음과 같이 생각한다. Moshi는 7B 모델이고 full-duplex 모델로 동작하는데, 사실성을 원하는 질문같은 경우 (QA와 같은) 성능이 좀 떨어진다. 모델 키우고 데이터 넣고 이러는게 하나의 해결책이겠지만, 텍스트 llm과 달리 full-duplex는 인퍼런스 속도가 더욱 중요하다. 따라서 RAG 방식으로 백단에서 모델이 있고 이를 활용하겠다는 것이다. 근데 또 llm과 다르게, RAG 혹은 백그라운드 모델이 정보를 줄동안 moshi는 무언가를 말하고 있어야한다는 것이다. 여기서 나오는 용어가 있다. TTFAT: 사용자 질문이 끝나고 첫번째 응답 토큰이 나올때까지 걸리는 시간 keyword delay: TTFAT뒤에, 즉 첫번째 응답 토큰이 나오고 검색한 결과의 첫 키워드가 나올때까지 걸리는 시간 E2EKD = TTFAT + keyword delay retrieval delay = 검색이 필요하다는 신호 (<ret>)가 나오고 검색이 될때까지 걸리는 시간 여기서 RAG 방식이 작동하려면 retrieval delay < E2EKD 구조가 되어야한다는 것 즉 모델(Moshi)가 구체적인 응답을 내뱉기전에 검색이 되어야한다는 말임 학습 데이터를 어떻게 만드는지 살펴보자 QA 데이터 샘플을 기존의 데이터에서 하나 추출 (Natural Questions, HotpotQA, TriviaQA...