AI Information

LLM은 답하기 전에 “이 문제를 내가 아는지” 알 수 있을까? 이번 글에서는 Query-Level Uncertainty in Large Language Models 논문을 정리한다. 이 논문의 핵심 질문은 아주 단순하다. LLM이 실제 답을 생성하기 전에, 이 질문을 자신이 맞힐 수 있는지 판단할 수 있을까? 기존의 LLM uncertainty 연구는 대부분 답변을 생성한 뒤 그 답이 얼마나 신뢰할 만한지를 측정했다. 반면 이 논문은 질문만 보고 미리 uncertainty를 추정 하는 방법을 제안한다. 1. 기존 uncertainty estimation과 무엇이 다른가? 기존 방식은 보통 질문 x 에 대해 답변 y 를 생성한 다음 uncertainty를 계산한다. U(x, y) 예를 들어 Perplexity, Semantic Entropy, P(True) 같은 방법들은 기본적으로 생성된 답변 정보를 사용한다. 그런데 이러한 방식에는 비용 문제가 있다. 특히 Semantic Entropy처럼 여러 개의 답변을 샘플링해야 하는 방법은 하나의 질문에 대해 여러 번 generation을 수행해야 한다. Reasoning task처럼 답변 길이가 긴 경우에는 비용이 더 커진다. 이 논문은 이를 다음과 같이 바꾼다. U(x) 즉 답변을 생성하지 않고 질문 자체만 보고 모델이 이 문제를 풀 수 있을지 추정 한다. 저자들은 이를 Query-Level Uncertainty 라고 부른다. 2. “모델이 이 문제를 안다”는 것은 무엇인가? 먼저 ground truth가 필요하다. 논문에서는 질문을 모델에게 실제로 입력한 뒤 greedy decoding으로 답을 생성한다. 모델이 정답을 맞히면: Answerable 틀리면: Non-answerable 이라고 정의한다. 즉 이 논문에서 말하는 knowledge는 철학적인 의미의 “모델이 지식을 가지고 ...

논문 한눈에 보기 제목: Towards Fully Exploiting LLM Internal States to Enhance Knowledge Boundary Perception ACL 2025 Long Paper 이 논문은 다음 질문을 다룹니다. LLM이 답변을 생성하기 전부터, 자신이 그 질문에 답할 수 있는지를 hidden state만으로 판단할 수 있는가? 결론부터 말하면: 질문의 마지막 토큰 hidden state에 작은 분류기를 붙이면, 답변을 생성하기 전에도 모델의 정답 가능성을 상당히 잘 예측할 수 있다. 다만 답변 생성 후 hidden state를 사용하면 조금 더 정확하다. 그리고 모델의 과도한 자신감을 줄이기 위해, 질문을 여러 형태로 바꿔 물었을 때 confidence가 일관적인지를 검사하는 C³ 라는 보정 방법도 제안합니다. 1. 이 논문에서 말하는 Knowledge Boundary Knowledge Boundary는 쉽게 말해 다음 두 영역의 경계입니다. 모델이 실제로 알고 있어서 정답을 낼 수 있는 질문 모델이 알지 못해서 오답을 낼 가능성이 높은 질문 좋은 모델이라면: 실제 능력 모델의 판단 바람직한 행동 정답 가능 “알고 있다” 답변 정답 불가능 “모른다” 거절·검색·도구 호출 정답 불가능 “알고 있다” 과신, hallucination 정답 가능 “모른다” 지나친 보수성 논문에서는 모델 confidence와 실제 정답 여부가 일치하는 비율을 Alignment 라고 부릅니다. 또 두 종류의 오류를 구분합니다. Overconfidence: 틀리면서 안다고 판단 Conservativeness: 맞힐 수 있으면서 모른다고 판단 이 중 검색 필요성 판단에서는 특히 Overconfidence 가 중요합니다. 틀릴 질문인데 모델이 자신 있다고 판단하면 검색하지 않고 hallucination을 만들기 때문입니다. 2. 핵심 아이디어 기존 방법은 보통 모델이 답변을 생성한 다음, 답변 token의 hidden state를 보고 그 답변이 맞...

LLM은 언제 검색해야 할까? KBM: Knowledge Boundary를 활용한 Adaptive Retrieval 대규모 언어 모델에 외부 검색을 결합하는 RAG는 최신 정보와 희귀 지식을 보완하는 대표적인 방법이다. 하지만 모든 질문에 검색을 수행하는 방식은 비효율적이다. 모델이 이미 알고 있는 질문에도 검색을 붙이면 불필요한 비용과 지연이 발생하고, 검색 결과에 포함된 노이즈 때문에 오히려 답변 품질이 낮아질 수도 있다. EMNLP 2025 Findings에 발표된 “KBM: Delineating Knowledge Boundary for Adaptive Retrieval in Large Language Models” 는 이러한 문제를 해결하기 위해, 언어 모델이 알고 있는 질문과 모르는 질문의 경계를 학습하는 Knowledge Boundary Model , 즉 KBM을 제안한다. 논문의 핵심 질문은 다음과 같다. 모델이 스스로 답할 수 있는 질문과 외부 검색이 필요한 질문을 구분할 수 있는가? 모든 질문에 RAG가 필요한 것은 아니다 일반적인 RAG 시스템은 사용자 질문을 받으면 우선 검색을 수행한다. 질문 ↓ 문서 검색 ↓ 검색 결과 + 질문 ↓ LLM 답변 이 방식은 모델의 내부 지식이 부족한 경우 효과적이지만, 이미 답을 알고 있는 질문에도 동일한 검색 과정이 적용된다. 논문에서는 검색이 답변에 미치는 영향을 세 가지로 구분한다. Beneficial 검색을 사용한 뒤 답변 성능이 향상되는 경우다. 모델이 원래 몰랐던 사실을 외부 문서에서 얻은 상황이 여기에 해당한다. Neutral 검색을 사용해도 성능이 거의 변하지 않는 경우다. 모델이 이미 알고 있던 정보를 검색을 통해 다시 제공받는 상황이다. Harmful 검색을 사용한 뒤 오히려 성능이 떨어지는 경우다. 검색 결과가 부정확하거나 질문과 관련이 적으면, 모델이 내부적으로 알고 있던 올바른 지식까지 방해받을 수 있다. 따라서 검색은 항상 성능을 높이는 것이 아니다. 이상적인 시스템은 질...

LLM은 언제 검색해야 할까? ADAPT-LLM: <RET> 토큰을 이용한 선택적 정보 검색 대규모 언어모델을 이용해 질문에 답하는 방법은 크게 두 가지로 나눌 수 있다. 첫 번째는 모델이 학습 과정에서 습득한 내부 지식만으로 답하는 Closed-book QA 방식이다. 별도의 검색 과정이 없으므로 빠르고 간단하지만, 모델이 알지 못하거나 오래된 정보에는 제대로 답하기 어렵다. 두 번째는 질문과 관련된 문서를 검색한 뒤, 검색 결과를 모델에 제공하는 Open-book QA 또는 RAG 방식이다. 외부 정보를 활용할 수 있다는 장점이 있지만 검색 비용과 지연이 발생하며, 검색된 문서의 품질이 낮으면 오히려 답변을 방해할 수도 있다. 이 논문은 두 방법 중 하나를 항상 고정해서 사용하는 대신, 질문마다 검색이 필요한지 모델이 직접 결정하도록 하는 방법 을 제안한다. 제안된 모델의 이름은 ADAPT-LLM 이다. 핵심 아이디어 ADAPT-LLM은 질문을 받으면 다음 두 행동 중 하나를 선택한다. 1. 모델이 답을 안다고 판단하면 바로 답변한다. 2. 외부 정보가 필요하다고 판단하면 <RET> 토큰을 출력한다. 예를 들어 모델이 질문에 답할 수 있다면 다음과 같이 응답한다. Question: Who wrote Hamlet? Answer: William Shakespeare 반면 모델이 추가 정보가 필요하다고 판단하면 답변 대신 특수 토큰을 생성한다. Question: ... Answer: <RET> <RET> 은 retrieval이 필요하다는 뜻이다. 백엔드는 이 토큰을 감지하면 정보검색 시스템을 실행하고, 검색된 문서를 질문과 함께 모델에 다시 입력한다. 전체 추론 과정은 다음과 같다. 질문 ↓ ADAPT-LLM ├─ 직접 답변 │ └─ <RET> ↓ 문서 검색 ↓ 질문 + 검색 문서 ↓ ADAPT-LLM 재호출 ...

멀티모달 모델에게 “모르면 모른다고 말하기”를 가르칠 수 있을까? 멀티모달 언어 모델은 이미지에 없는 내용을 그럴듯하게 만들어내곤 한다. 기존 연구는 주로 이미지에 존재하지 않는 객체를 언급하는 문제에 집중해 왔다. 예를 들어 이미지에 개가 없는데도 모델이 “개가 소파 위에 앉아 있다”고 답하는 식이다. 하지만 이미지 속 객체를 정확히 인식하더라도 여전히 답할 수 없는 질문이 있다. 사진 속 기차는 전체 노선을 몇 마일 운행하는가? 사진 속 타자는 다음 공을 파울로 칠 것인가? 이 사진은 정확히 어떤 방식으로 편집되었는가? 이런 질문은 이미지에 답의 근거가 없다. 그럼에도 모델은 “10마일”, “그렇다”, “사진을 잘라냈다”처럼 구체적인 답을 만들어낼 수 있다. Visually Dehallucinative Instruction Generation: Know What You Don’t Know 는 이러한 현상을 I Know hallucination , 줄여서 IK hallucination 이라고 부른다. 핵심 아이디어는 간단하다. 이미지로 답할 수 없는 질문에서는 억지로 답하지 말고, “알 수 없다”고 말하도록 학습하자. 다만 논문의 제목처럼 모델이 정말로 자신의 지식 범위를 파악하게 되었는지는 조금 더 신중하게 살펴볼 필요가 있다. 1. IK hallucination이란 무엇인가 논문은 다음과 같은 상황을 IK hallucination으로 정의한다. 적절한 답이 “I don’t know”인 질문에 대해 모델이 그 외의 답을 생성하는 경우 기존 visual hallucination 평가가 주로 객체의 존재 여부를 다뤘다면, 이 논문은 한 단계 더 나아가 질문에 답할 충분한 시각적 근거가 존재하는가 를 다룬다. ( arXiv ) 예를 들어 사진 한 장만 보고 특정 열차의 전체 운행 거리를 묻는다면, 이미지 인식 능력이 아무리 좋아도 답할 수 없다. 이때 좋은 모델은 가장 그럴듯한 숫자를 생성하는 대신, 이미지로는 확인할 수 없다고 답해야 한다. 논문은 이러한 사례...

◼ Comment 이 논문은 인터리빙 스타일로(SpeechChat) 학습된 KRAFTON에서 나온 논문이다. 모델 초기 Qwen3-VL-8B-Instruct을 베이스로 한다 신기한건, instrcut 모델에 한국어-영어 pretraining을 하고, post-training을 한다는 점이다. 모델은 Raon-Speech와 Raon-SpeechChat이 있는데, 이 둘에 사용된 모듈이 다르다. Raon-Speech  오디오 입력은 continuous embedding을 받는다 pretrained AuT 모델로 초기화한 speech encoder을 사용한다. 여기에 2-layer MLP layer 태워서 text embedding가 차원맞춰서 입력으로 넣음 오디오 출력은 Mimi codec이 사용된다. Mimi codec은 원래 RVQ기반이고 32개의 residual codebook을 사용하지만, 여기서는 앞의 16개만 사용한다고 함 모델은 1개의 semantic token을 예측하고, 이후 depth transformer에서 acoustic token 15개를 예측하는것 LLM hidden state -> speech generation expert (SGE) -> semantic token c1 SGE는 4-layer의 Transformer 형태임 semantic token c1 -> RCP -> acoustic token 15개 예측 c1 -> RCP -> acoustic token c2 c1, c2 -> RCP -> acoustic token c3 이런식으로 순차적 예측 RCP는 5-layer Transformer로 Residual하게 작동하는것 화자 컨트롤하기 위해, LLM 입력 시퀀스에 목표 화자 음성을 인코딩을 넣고 이것을 따르게함 Raon-Speech 학습 세가지 학습 단계로 구성됨 1. 음성 이해 정렬 backbone LLM 고정. 즉 Qwen3-VL-Instruct는 고정함 즉 학습되는 ...