AI Information

코멘트 일단 수식이 너무 많다. 말하고자 하는 의미는 파악했는데, 엄밀히 수식을 검증하기도 어렵고 따라가면서도 몇 가지 의문점들이 존재한다. 기본적으로 용어가 너무 어렵고 설명이 불친절하다. 식 1에서, bias을 빼서 tilda h을 활용하겠다는 것인데, 이거 빼는게 정말 좋을지? 왜냐하면 bias에 유의미한 정보가 담겨있으면 어떡하나? 그래서 여기서 하고자하는 flow(식5)의 영향을 주면 어떡하나? 식 6에서 tilda h을 곱해서 만드는 벡터 p가 정말로 원하는 의미가 담기는 것인가?  레이어별로 정보를 담고 있는 것이 다르기 때문에, tilda h 차이로 감지되는 것이 다른 종류의 정보일 수 있다. 이걸 GRU로 순차적으로 보는게 어떤 의미일까? 기본적인 가정인 크게 움직이고 방향이 많이 꺽인게 왜 환각일 수 있는가? 논문의 방법은 학습된 GRU로 환각 검출을 하게 되는데, 이 학습을 위해서 데이터를 만들어야한다. 하지만 비교 방법들은 학습 방법이 아니다. 즉 이는 공정하지 못한 비교이다. 또한 학습/테스트 데이터를 만들때 사용된 chatgpt-4o-mini의 성능은 믿을만한가? 데이터 신뢰도에 대해 문제가 있고 사람의 개입이 없어보인다. Depthwise Flow Signatures for Hallucination Detection and Refinement in Large Language Models Abstract 대규모 언어 모델은 유창하지만 전역적으로는 잘못된 답변을 생성할 수 있으며, 대부분의 안전장치는 생성이 완료된 뒤에야 출력을 검증한다. 우리는 다른 접근법을 취한다. 모델이 무엇을 말했는지 확인하는 대신, 모델이 어떻게 결정했는지 를 모니터링한다. 각 토큰 예측을 트랜스포머의 깊이 전반에 걸쳐 진화하는 궤적의 종착점으로 보고, 그 궤적에서 층, 토큰, 모델 전반에 걸쳐 구조적으로 안정적인 압축 기하 요약을 추출한다. 이러한 요약을 학습한 경량 validator는 base model을 수정하지 않고도 hallucination을 ...

Reference https://arxiv.org/pdf/2609.33443

◼ Comment MiniCPM을 기반으로한 인터랙션 모델로 Gander로 부름 입력으롤 텍스트,오디오,비디오가 스트리밍으로 들어가 출력은 텍스트/오디오임 먼저 메인모델 thinker은 텍스트를 생성하고, 여기서 생성된 텍스트토큰이랑, hidden representation을 talker에 넘겨서 오디오 토큰을 생성함 오디오 토큰은 디코더 태워서 실제 음성으로 만들어짐 입력 오디오와 비디오는 사전에 학습된 encoder을 통해 continuous embedding이 들어감 생성된 오디오는 thinker에 들어가는 구조는 아님 thinker은 텍스트 토큰에서 control token까지도 생성함 컨트롤 토큰이란, Listen / Speak / Interrupt / Tool을 말하는건데 우리가 사용하는 speak_pad, listen_pad, wait_pad 같은 그런 용도임 또한 tool-call content 을 생성하는데 이것은 runtime에 보낼 토큰임 <tool_call> {"name": "tool_state", "arguments": {"key": "value"}} </tool_call> 이런 토큰을 프론트모델(thinker)에서 직접 생성한다는 것이다 tool state라고 위에선 말했지만, 여기에 대응되는게 실제로는 task_start, task_send, task_resolve가 존재한다고함 이게 담는 내용은 어떤 툴을 어떤 인자로 호출할지를 생성한지를 의미 한번의 통신으로 끝나는 상황이 아닌, 여러 번 왔다 갔다 한다는 상황에 맞게 정의한 느낌인데, 밑에 3.2.1에 예시 적어둠 그리고 사용자 audio query의 transcription + 관련 video final frames을 함께 백엔드로 넘긴다고함 백엔드는 클로드코드 같은걸 의미해서 이러한 tool-call content와 기존 대화를 받는 개념 즉 프론트가 툴관련 내용도 ...

◼ Comment 최근에는 MiniCPM을 기반으로 연구들이 진행되고 있어서 한번 이해하고 넘어가보자 일단 이 모델은 단순히 텍스트-오디오 Full duplex 모델만 지원하는 형태가 아니고, 비전도 이해하는 모델이다  비전도 스트리밍 사이즈는 9B 아키텍쳐 주요 요소 (1) visual 및 audio 입력을 streaming 방식으로 처리하는 multimodal encoder,  (2) omni-modal understanding과 text generation을 수행하는 LLM backbone,  (3) discrete speech token을 autoregressive하게 생성하는 interleaved speech token decoder와 speech token을 audio waveform으로 변환하는 streaming flow-matching decoder를 포함하는 speech decoder이다.  Vision Encoding은 본문 참고 Audio Encoding 오디오가 들어오면, 초당 50개의 feature continuous embedding을 뽑는다. 이 50개를 two-layer MLP 태워서 10개의 continuous embedding을 만들어서 LLM에 넣는다. 10Hz 느낌 근데 오디오 인코더는 앞의 컨텍스트를 볼텐데 몇초씩 윈도우 슬라이딩을 하는건가? (이건 안나와있음) Text Encoding Qwen3 8B가 텍스트 토큰을 생성하고 생성된 각 text token에 대응하는 LLM hidden state를 speech decoder에 넘긴다 25 speech token/sec을 생성함 (아래에서 이어서 설명) 여기서 텍스트 토큰 생성과 speech 토큰 생성 시간을 고려하면, 텍스트 생성은 초당 3-4 텍스트 토큰이 생성되야함.  학습데이터가 텍스트와 speech 토큰을 시간으로 얼라인 하는 포맷인거 같음 (word align 같은) Speech Token Generation 위에서 말한...