글

NL-347, NeurIPS 2027-01

코멘트 일단 수식이 너무 많다. 말하고자 하는 의미는 파악했는데, 엄밀히 수식을 검증하기도 어렵고 따라가면서도 몇 가지 의문점들이 존재한다. 기본적으로 용어가 너무 어렵고 설명이 불친절하다. 식 1에서, bias을 빼서 tilda h을 활용하겠다는 것인데, 이거 빼는게 정말 좋을지? 왜냐하면 bias에 유의미한 정보가 담겨있으면 어떡하나? 그래서 여기서 하고자하는 flow(식5)의 영향을 주면 어떡하나? 식 6에서 tilda h을 곱해서 만드는 벡터 p가 정말로 원하는 의미가 담기는 것인가?  레이어별로 정보를 담고 있는 것이 다르기 때문에, tilda h 차이로 감지되는 것이 다른 종류의 정보일 수 있다. 이걸 GRU로 순차적으로 보는게 어떤 의미일까? 기본적인 가정인 크게 움직이고 방향이 많이 꺽인게 왜 환각일 수 있는가? 논문의 방법은 학습된 GRU로 환각 검출을 하게 되는데, 이 학습을 위해서 데이터를 만들어야한다. 하지만 비교 방법들은 학습 방법이 아니다. 즉 이는 공정하지 못한 비교이다. 또한 학습/테스트 데이터를 만들때 사용된 chatgpt-4o-mini의 성능은 믿을만한가? 데이터 신뢰도에 대해 문제가 있고 사람의 개입이 없어보인다. Depthwise Flow Signatures for Hallucination Detection and Refinement in Large Language Models Abstract 대규모 언어 모델은 유창하지만 전역적으로는 잘못된 답변을 생성할 수 있으며, 대부분의 안전장치는 생성이 완료된 뒤에야 출력을 검증한다. 우리는 다른 접근법을 취한다. 모델이 무엇을 말했는지 확인하는 대신, 모델이 어떻게 결정했는지 를 모니터링한다. 각 토큰 예측을 트랜스포머의 깊이 전반에 걸쳐 진화하는 궤적의 종착점으로 보고, 그 궤적에서 층, 토큰, 모델 전반에 걸쳐 구조적으로 안정적인 압축 기하 요약을 추출한다. 이러한 요약을 학습한 경량 validator는 base model을 수정하지 않고도 hallucination을 ...

Audio-032, Context Spanning: A Communication Framework for Full-Duplex Speech Models and External LLM Backends, Preprint 2026

이미지
◼ Comment 모델링과 학습과정 보면 내부에서 하고 있는 것과 꽤 유사한 점이 많다. 백엔드 호출해서, 거기서 툴콜 등 처리하고, 결과를 가져와서 prefill 하여 응답하는 형태임 여기서는 Moshi 기반으로 진행했기 때문에 멀티 채널을 처리하기 위해 sin파, 무음을 같이 넣어줘야하는 형태임 인터랙션 학습 데이터는 합성하여 만들었고, 기존 대화 데이터도 오픈된거 일부 가져다 쓰기도 하고 합성하기도 함 아쉬운 점은 prefill을 하느라 생기는 지연이 있다는 점 복잡한 테스크는 처리하기 어려울 것이고 레이턴시가 늘어난 경우는 해결못하는게 문제임 여기서 사용된 툴콜 레퍼런스도 참고해볼만한 듯 ABSTRACT 전이중(Full-Duplex) 음성 대화 모델은 인간의 실시간 대화 방식처럼 듣기와 말하기를 동시에 수행할 수 있다. 자연스러운 대화를 위해서는 외부 정보를 실시간으로 검색하는 능력 또한 중요하다. 그러나 많은 모델은 여전히 모델 내부의 파라미터에 저장된 지식(Parametric Knowledge)에 의존하고 있어, 실시간 정보에 접근하거나 도구(Tool)를 실행하지 못한다. 또한 대규모 언어 모델(LLM)이 정보를 검색하더라도, 많은 전이중 음성 모델은 이를 원본 텍스트 형태가 아닌 압축된 잠재 공간(Latent Space)에서 처리하기 때문에 압축 과정에서 정보 손실이 발생할 수 있다. 이러한 문제를 해결하기 위해, 본 논문에서는 실시간 Chunked Prefill을 통해 전이중 음성 모델과 외부 LLM 백엔드 사이에 정보를 주입하는 프레임워크인 Context Spanning 을 제안한다. 주입되는 프레임은 실시간 프레임 처리에 허용된 시간 내에서 단 한 번의 Forward Pass로 인코딩된다. 이를 통해 검색된 정보를 원본 형태 그대로 음성 모델에 전달하여, 모델이 해당 정보를 독립적으로 추론하고 응답을 생성할 수 있도록 한다. 제안한 방법을 통해 본 모델은 Full-Duplex 벤치마크에서 높은 성능을 달성하고, 질의응답(Question Ans...

Audio-031, Multimodal Duplex Interaction Agent, Preprint 2026

이미지
◼ Comment MiniCPM을 기반으로한 인터랙션 모델로 Gander로 부름 입력으롤 텍스트,오디오,비디오가 스트리밍으로 들어가 출력은 텍스트/오디오임 먼저 메인모델 thinker은 텍스트를 생성하고, 여기서 생성된 텍스트토큰이랑, hidden representation을 talker에 넘겨서 오디오 토큰을 생성함 오디오 토큰은 디코더 태워서 실제 음성으로 만들어짐 입력 오디오와 비디오는 사전에 학습된 encoder을 통해 continuous embedding이 들어감 생성된 오디오는 thinker에 들어가는 구조는 아님 thinker은 텍스트 토큰에서 control token까지도 생성함 컨트롤 토큰이란, Listen / Speak / Interrupt / Tool을 말하는건데 우리가 사용하는 speak_pad, listen_pad, wait_pad 같은 그런 용도임 또한 tool-call content 을 생성하는데 이것은 runtime에 보낼 토큰임 <tool_call> {"name": "tool_state", "arguments": {"key": "value"}} </tool_call> 이런 토큰을 프론트모델(thinker)에서 직접 생성한다는 것이다 tool state라고 위에선 말했지만, 여기에 대응되는게 실제로는 task_start, task_send, task_resolve가 존재한다고함 이게 담는 내용은 어떤 툴을 어떤 인자로 호출할지를 생성한지를 의미 한번의 통신으로 끝나는 상황이 아닌, 여러 번 왔다 갔다 한다는 상황에 맞게 정의한 느낌인데, 밑에 3.2.1에 예시 적어둠 그리고 사용자 audio query의 transcription + 관련 video final frames을 함께 백엔드로 넘긴다고함 백엔드는 클로드코드 같은걸 의미해서 이러한 tool-call content와 기존 대화를 받는 개념 즉 프론트가 툴관련 내용도 ...