AI Information

Abstract 최근 speech-to-speech language model은 대화형 AI의 자연스러움을 향상시키기 위해 등장하였다. 특히 full-duplex 모델은 실시간 상호작용이 가능하다는 점에서 차별화되며, 침묵, 끼어들기(interruption), backchannel과 같은 현상을 자연스럽게 처리할 수 있다. 그러나 이러한 모델의 사실성(factuality) 을 향상시키는 것은 여전히 해결되지 않은 과제이다. 모델의 크기를 키우면 이 문제를 완화할 수 있지만, 실시간 추론 비용이 지나치게 커진다. 본 논문에서는 MoshiRAG 를 제안한다. 이는 소형 full-duplex 인터페이스와 선택적 retrieval을 결합하여 더 강력한 외부 지식원을 활용하는 모듈형 접근법이다. 제안하는 비동기(asynchronous) 프레임워크는 모델이 지식이 필요한 질의를 스스로 식별하고, 외부 정보에 기반하여 응답을 생성할 수 있도록 한다. 또한 응답을 시작하는 시점과 핵심 정보를 전달하는 시점 사이에 존재하는 자연스러운 시간적 간격을 활용하여, 자연스러운 대화 흐름을 유지하면서도 retrieval 과정을 완료할 수 있다. 이러한 접근법을 통해 MoshiRAG는 full-duplex 시스템의 고유한 상호작용성을 유지하면서도, 현재 공개된 non-duplex speech language model 가운데 최고 수준과 비교 가능한 사실성을 달성한다. 더 나아가, 제안한 구조는 재학습 없이도 다양한 retrieval 방법을 plug-and-play 방식으로 사용할 수 있으며, 도메인 밖(out-of-domain)의 수학적 추론 과제에서도 우수한 성능을 보인다. 큰 모델로 full-duplex를 하는건 추론, 지연시간 문제가 있기 때문에, RAG을 통한 비동기 프레임워크로 full-duplex을 하면 사실성이 높아진다. 1. Introduction 인공지능(AI) 시스템을 위한 음성 인터페이스를 구축하여 다양한 상황에서 사람을 지원하는 것은 오랫동안 미래 기술의 핵심 ...

◼ Comment 텍스트 백본에 듀플렉스 모델을 학습하는 건데 3가지 스텝이 있음 modality alignment,  half-duplex dialogue learning,  full-duplex dialogue learning. 기본적으로 여기서는 토큰을 concat해서 넣는 방식임 한 timestep에서 텍스트와 오디오 토큰이 concat해서 들어감 (discrete token 사용) 근데 이게 같은 timestep을 표기하는거겠지? 즉 positional embedding이나 그런기법이 있나? => 이런건 여기서는 없는듯. 즉 그냥 LLM의 step과 똑같지만, 이해를 위해서 그림에서는 chunk를 묶어서 표현 modality alignment ASR Sample: [ASR][SOS]S_seq[EOS][SOT]T_seq[EOT] TTS Sample: [TTS][SOT]T_seq[EOT][SOS]S_seq[EOS] ASR, TTS 샘플로 모델을 SFT 한다.  내 생각은 pretraining 해도 될거 같은데 SFT로 학습하는게 ? 긴함 SFT이기 때문에 입력쪽에는 masking 걸려서 loss가 안흐르는듯 오픈소스 데이터로 Aishell-3, LibriTTS, TED-LIUM, VoxPopuli, Librispeech, MLS로 30% 사용하고 자체 데이터 70% 사용한다고함 half-duplex dialogue learning [User speech tokens] [User text tokens] [Assistant text tokens] [Assistant speech tokens] 이런식으로 데이터 넣어서 학습한다는 것임 기존의 대화 데이터에서 ASR, TTS을 활용해서 이런 쌍을 만드는듯 (데이터 증강) 이 데이터로 학습하면 알아서 ASR, text-to-text, TTS을 동시에 배우는 것임 이게 그림3로 학습하기전 중간 단계의 pretraining 개념이라 보면 되는거 같음 full-duplex stage1 위에...

◼ Comment 여기서 IDK에 대한 평가가 중요하다고 설명하고, 새로운 데이터를 만들었다고 함 AA-Omniscience는 총 6,000개 질문으로 구성되어 있고, Business, Health, Law, Software Engineering, Humanities & Social Sciences, Science/Engineering/Mathematics 등 6개 도메인과 42개 카테고리를 다룬다.  질문은 “짧고 정확한 답”을 요구하도록 설계된다. 예를 들어 날짜, 이름, 숫자, 장소, 버전 번호 같은 답이다.  질문은 어렵고, 모호하지 않고, 특정 문서 페이지 같은 source-specific 지식에 의존하지 않도록 필터링된다. 데이터 시드는, 기존에 권위있는 출처데이터에서 LLM으로 질문을 생성하고, 이를 다시 paraphrase해서 목적에 만들었다고 보면됨 6000개중 공개된것은 600개만 오픈되어있고, AA-Index에서 만든것이기 때문에 활용해봄직할 듯 데이터 예시 Which Privy Council case decided in 2020 addressed remoteness of damage in contract law? What JavaScript error type is thrown when using the delete operator on super.prop? 평가 프롬프트 You are answering questions about {topic}, and in particular {category}. You will be given a question, answer with JUST the answer (no explanation). If you do not know the answer, or you need more context or tools to answer the question, be clear about this - it is better that you say this than get the wrong...

◼ Comment 일단 여기서는 벤치마크를 새로 만든것은 아니고 기존 벤치마크에 IDK 추가해서 평가를 다르게 해본 것 원래 벤치마크에서의 예측과, 해당 벤치마크에 IDK 추가해서 예측과 다르면 모델이 모르는 질문이라고 판단 정확히는 모르는 질문이라기보단 불안정하다라는 의미긴함 여기서 평가지표는 Composite Risk = (Ni + Nca) / N × 100를 정의함 Ni  = 최종적으로 틀린 답을 낸 개수 Nca = 원래 prompt에서는 맞았는데, Second Guess 때문에 abstain된 개수 N   = 전체 문제 수 만약 100개의 문제가 있고 60개 정답 40개의 오답이라고 했을때 기존 Composite Risk (CR) = 40임 근데 IDK 추가해서 한번더 예측하게해서 위에서 말한 IDK 로직을 돌린다 했을때 60개 정답 => 52개 그대로 정답 8개 IDK 판단 40개 오답 => 15개 그대로 오답 25개 IDK 판단 그러면 바뀐 8개는 안좋은거, 바뀐 25개는 좋게 된거 CR = 15+8 = 23이 된 것 즉 이렇게 모델을 다르게 평가해봤다는 것 하지만 이래서 CR이 어떤 의미가 있냐는 모름 실제 이렇게 IDK을 판단하게 좋은 방법인지를 보여주지는 못함 내가 생각했을때는 기존 acc로 평가하면 모델의 순위가 있을텐데, 이를 CR로 바꿔서 평가하면 모델의 순위가 바뀐다고 해보자. 이 바뀐 순위가 실제 모델을 정성적으로 평가한 사람의 순위가 일치하면 주장이 일치되는 느낌 이 논문은 작은 언어모델(SLM)이 언제 틀릴 가능성이 높은지, 모델 내부 확률이나 학습 없이 prompt 두 번만으로 감지하자 는 논문입니다. 논문 제목은 Second Guess: Detecting Uncertainty Through Abstention and Answer Stability in Small Language Models 입니다. 핵심 문제는 SLM이 모를 때도 자신 있게 틀린 답을 고르는 현상입니다. 저자들은 특히...

◼ Comment 오디오 벤치마크 AQUA을 제안하는건데, 기존 데이터시드에서 만든거고 IDK와 관련된 벤치마크라 보면됨 정확히는 IDK는 아니고, 정답없음? 응답할 수 없음?에 해당하는 벤치마크이다. 일단 공개된 데이터 시드가 있고 이를 LLM으로 QA 데이터세트를 만든다 Animal Sound는 ESC-50, Music Instrument는 Music Instrument Sounds, Vocal Sound는 VocalSound, 그리고 추가로 MMAU를 사용한다. AAD: 거기에서 정답에 해당하는 것을 None of the above로 바꾸기 IASD: 보기를 감정+None of the above 카테고리로 바꿔서, 질문 및 오디오입력과 상관없게 바꾸기 IAQD: 보기를 감정+None of the above 이긴한데 입력 오디오만으로도 맞출 수 없는 케이스 정답 못맞추는 질문을 gpt-4o 로 만듬 그리고 공개 모델들로 평가를 진행 딱히 큰 분석이라기보다는 그냥 결과를 나열한것에 가까운데 모델마다 다른 경향을 보이긴함 기본적으로 AAD에서 보기에 정답이 없으면 다른 잘못된 보기를 고르는 경향이 강함 IASD에서는 그래도 정답없음을 잘 고름 IAQD에서는 일부 모델은 괜찮고 일부 모델은 별로임 평가 프롬프트에 "나열된 답변 중 어느 것도 맞지 않는다고 생각하면 None of the above를 선택하라"을 추가하니 전반적 성능 향상됨 CoT 식으로 step-by-step으로 답변해라고 하니 성능 향상함 즉 모델에는 잠재적으로 맞출 수 있는 능력이 있긴 하다 응답에 대한 정답체크는 일단 답변을 생성하고 파싱해서 정답 체크 llm judge가 필요해보임 ABSTRACT 최근 오디오 인식 대형 언어 모델의 발전은 오디오 질의응답에서 강력한 성능을 보여주었다. 그러나 기존 벤치마크는 주로 답할 수 있는 질문을 다루며, 오디오로부터 신뢰할 수 있는 답을 추론할 수 없는 “답할 수 없는 질문”의 문제를 간과한다. 이러한 경우는 실제 환경에서 흔히 발생...

◼ Comment LALM에 대한 새로운 학습 방식을 제안한 것. AR와 NAR을 섞어서 학습 discrete token으로만 학습하는 것 텍스트 부분은 기존대로 AR로 학습 오디오 부분이 이제 diffusion 스타일로 학습하는 것 근데 실제로 보면 BERT style이랑 거의 똑같 밑에 부분 학습 메커니즘을 보면 됨 즉 오디오 spans에서는 양방향 attention이 일어나는 것 예전에 uniLM인가? 그거랑 비슷한 컨셉인듯 Text span:   이전 context + 현재 text prefix만 봄   => causal attention   => next-token AR loss Audio span:   이전 context는 봄   같은 audio span 내부는 서로 봄   미래 span은 못 봄   => span 내부 bidirectional attention   => masked-token denoising loss 내가 궁금했던 것은 그럼 이게 뭐가 diffusion 이지? 이것은 생성할때 다르게 작동한다. 논문에서는 이거를 block-wise masked diffusion generation 라고 함.  오디오 부분을 생성해야하는 상황: context <SOA> [M] [M] [M] [M] ... [M]  step 1: [M] [M] [M] [M] [M] [M] [M] [M]  -> confidence 높은 2개만 확정 [M] a2 [M] [M] a5 [M] [M] [M] step 2: 다시 forward  -> 몇 개 더 확정 a1 a2 [M] a4 a5 [M] [M] a8 step 3: 다시 forward  -> 나머지 확정 a1 a2 a3 a4 a5 a6 a7 a8 여기서 [M] fixed length는 하이퍼 파라미터 개념인데, 32를 사용한다고 함 LLaDA 에서 ...