AI Information

Reference https://arxiv.org/pdf/2510.02044

◼ Comment 이 모델은 Moshi 모델에 백그라운드 모델을 붙여서 학습한 모델이다. 직관적으로는 다음과 같이 생각한다. Moshi는 7B 모델이고 full-duplex 모델로 동작하는데, 사실성을 원하는 질문같은 경우 (QA와 같은) 성능이 좀 떨어진다. 모델 키우고 데이터 넣고 이러는게 하나의 해결책이겠지만, 텍스트 llm과 달리 full-duplex는 인퍼런스 속도가 더욱 중요하다. 따라서 RAG 방식으로 백단에서 모델이 있고 이를 활용하겠다는 것이다. 근데 또 llm과 다르게, RAG 혹은 백그라운드 모델이 정보를 줄동안 moshi는 무언가를 말하고 있어야한다는 것이다. 여기서 나오는 용어가 있다. TTFAT: 사용자 질문이 끝나고 첫번째 응답 토큰이 나올때까지 걸리는 시간 keyword delay: TTFAT뒤에, 즉 첫번째 응답 토큰이 나오고 검색한 결과의 첫 키워드가 나올때까지 걸리는 시간 E2EKD = TTFAT + keyword delay retrieval delay = 검색이 필요하다는 신호 (<ret>)가 나오고 검색이 될때까지 걸리는 시간 여기서 RAG 방식이 작동하려면 retrieval delay < E2EKD 구조가 되어야한다는 것 즉 모델(Moshi)가 구체적인 응답을 내뱉기전에 검색이 되어야한다는 말임 학습 데이터를 어떻게 만드는지 살펴보자 QA 데이터 샘플을 기존의 데이터에서 하나 추출 (Natural Questions, HotpotQA, TriviaQA) Question: 한국의 수도는 어디야? Answer: 서울 여기서 토픽을 LLM으로 추출 (어떤 LLM인지 언급안됨) 토픽: 한국의 수도 1번째 턴 user LLM의 역할 (gemma3 27B) 토픽: "한국의 수도"가 주어지고 이에 대한 질문을 만들라고 함 예) "Moshi야. 한국의 수도에 대해 얘기해볼까?" Reference LLM의 역할 (gemma3 27B) "Moshi야. 한국의 수도에 대해 얘기해볼까...

◼ Comment 텍스트 백본에 듀플렉스 모델을 학습하는 건데 3가지 스텝이 있음 modality alignment,  half-duplex dialogue learning,  full-duplex dialogue learning. 기본적으로 여기서는 토큰을 concat해서 넣는 방식임 한 timestep에서 텍스트와 오디오 토큰이 concat해서 들어감 (discrete token 사용) 근데 이게 같은 timestep을 표기하는거겠지? 즉 positional embedding이나 그런기법이 있나? => 이런건 여기서는 없는듯. 즉 그냥 LLM의 step과 똑같지만, 이해를 위해서 그림에서는 chunk를 묶어서 표현 modality alignment ASR Sample: [ASR][SOS]S_seq[EOS][SOT]T_seq[EOT] TTS Sample: [TTS][SOT]T_seq[EOT][SOS]S_seq[EOS] ASR, TTS 샘플로 모델을 SFT 한다.  내 생각은 pretraining 해도 될거 같은데 SFT로 학습하는게 ? 긴함 SFT이기 때문에 입력쪽에는 masking 걸려서 loss가 안흐르는듯 오픈소스 데이터로 Aishell-3, LibriTTS, TED-LIUM, VoxPopuli, Librispeech, MLS로 30% 사용하고 자체 데이터 70% 사용한다고함 half-duplex dialogue learning [User speech tokens] [User text tokens] [Assistant text tokens] [Assistant speech tokens] 이런식으로 데이터 넣어서 학습한다는 것임 기존의 대화 데이터에서 ASR, TTS을 활용해서 이런 쌍을 만드는듯 (데이터 증강) 이 데이터로 학습하면 알아서 ASR, text-to-text, TTS을 동시에 배우는 것임 이게 그림3로 학습하기전 중간 단계의 pretraining 개념이라 보면 되는거 같음 full-duplex stage1 위에...

◼ Comment 여기서 IDK에 대한 평가가 중요하다고 설명하고, 새로운 데이터를 만들었다고 함 AA-Omniscience는 총 6,000개 질문으로 구성되어 있고, Business, Health, Law, Software Engineering, Humanities & Social Sciences, Science/Engineering/Mathematics 등 6개 도메인과 42개 카테고리를 다룬다.  질문은 “짧고 정확한 답”을 요구하도록 설계된다. 예를 들어 날짜, 이름, 숫자, 장소, 버전 번호 같은 답이다.  질문은 어렵고, 모호하지 않고, 특정 문서 페이지 같은 source-specific 지식에 의존하지 않도록 필터링된다. 데이터 시드는, 기존에 권위있는 출처데이터에서 LLM으로 질문을 생성하고, 이를 다시 paraphrase해서 목적에 만들었다고 보면됨 6000개중 공개된것은 600개만 오픈되어있고, AA-Index에서 만든것이기 때문에 활용해봄직할 듯 데이터 예시 Which Privy Council case decided in 2020 addressed remoteness of damage in contract law? What JavaScript error type is thrown when using the delete operator on super.prop? 평가 프롬프트 You are answering questions about {topic}, and in particular {category}. You will be given a question, answer with JUST the answer (no explanation). If you do not know the answer, or you need more context or tools to answer the question, be clear about this - it is better that you say this than get the wrong...