NL-362, Query-Level Uncertainty in Large Language Models, ICLR 2026

LLM은 답하기 전에 “이 문제를 내가 아는지” 알 수 있을까?

이번 글에서는 Query-Level Uncertainty in Large Language Models 논문을 정리한다.

이 논문의 핵심 질문은 아주 단순하다.

LLM이 실제 답을 생성하기 전에, 이 질문을 자신이 맞힐 수 있는지 판단할 수 있을까?

기존의 LLM uncertainty 연구는 대부분 답변을 생성한 뒤 그 답이 얼마나 신뢰할 만한지를 측정했다. 반면 이 논문은 질문만 보고 미리 uncertainty를 추정하는 방법을 제안한다.

1. 기존 uncertainty estimation과 무엇이 다른가?

기존 방식은 보통 질문 x에 대해 답변 y를 생성한 다음 uncertainty를 계산한다.

U(x, y)

예를 들어 Perplexity, Semantic Entropy, P(True) 같은 방법들은 기본적으로 생성된 답변 정보를 사용한다.

그런데 이러한 방식에는 비용 문제가 있다.

특히 Semantic Entropy처럼 여러 개의 답변을 샘플링해야 하는 방법은 하나의 질문에 대해 여러 번 generation을 수행해야 한다. Reasoning task처럼 답변 길이가 긴 경우에는 비용이 더 커진다.

이 논문은 이를 다음과 같이 바꾼다.

U(x)

즉 답변을 생성하지 않고 질문 자체만 보고 모델이 이 문제를 풀 수 있을지 추정한다. 저자들은 이를 Query-Level Uncertainty라고 부른다.

2. “모델이 이 문제를 안다”는 것은 무엇인가?

먼저 ground truth가 필요하다.

논문에서는 질문을 모델에게 실제로 입력한 뒤 greedy decoding으로 답을 생성한다.

모델이 정답을 맞히면:

Answerable

틀리면:

Non-answerable

이라고 정의한다.

즉 이 논문에서 말하는 knowledge는 철학적인 의미의 “모델이 지식을 가지고 있는가?”가 아니다.

좀 더 실용적으로,

현재 이 모델이 greedy decoding으로 해당 문제를 실제로 맞힐 수 있는가?

를 knowledge boundary로 사용한다.

3. 가장 단순한 아이디어: P(YES)

가장 간단한 방법은 모델에게 직접 물어보는 것이다.

Can you answer the following query accurately?
Respond with YES or NO.

그리고 그 아래에 실제 질문을 넣는다.

예를 들면 다음과 같다.

Can you answer the following query accurately?
What is the capital of France?
Respond with YES or NO.

중요한 점은 모델이 실제로 YES나 NO를 생성할 때까지 decoding하지 않는다는 것이다.

마지막 hidden state를 가져와서 LLM이 원래 가지고 있는 LM head에 넣는다.

h → Wunemb → vocabulary logits

4. Projection matrix W는 따로 학습하는가?

아니다.

이 부분이 이 논문의 중요한 특징이다.

논문에서 사용하는

Wunemb

은 별도로 학습한 classifier나 projection matrix가 아니다.

이미 pretrained LLM 안에 존재하는 LM head, 즉 unembedding matrix를 그대로 사용한다.

원래 LLM에서는 hidden state를 다음 token의 vocabulary logits으로 변환하기 위해 이 matrix를 사용한다.

z = Wunembh

그러면 다음과 같이 전체 vocabulary에 대한 logit이 나온다. 

the      : 1.2
Paris    : 0.5
YES      : 3.0
NO       : 1.0
...

이 중에서 YES와 NO의 logit만 가져온다.

그리고 두 값 사이에서 softmax를 계산한다.

P(YES) = exp(zYES) / [exp(zYES) + exp(zNO)]

예를 들어 

YES logit = 3
NO logit  = 1

이라면 P(YES)는 약 0.88이 된다.

즉 이 값은 현재 hidden representation이

나는 이 질문에 답할 수 있다.

라는 방향과

나는 이 질문에 답하기 어렵다.

라는 방향 중 어디에 더 가까운지를 나타낸다.

5. 중요한 점: 전체 vocabulary에서 YES 확률 하나만 뽑는 것은 아니다

조금 더 정확히 말하면 전체 vocabulary softmax에서 YES token의 probability를 그대로 가져오는 것은 아니다.

논문에서는 YES와 NO 두 token의 logit만 가져온 뒤 둘 사이에서 다시 normalize한다.

P(YES | YES, NO)

에 가까운 값이다.

따라서 핵심은 절대적인 YES probability보다는

YES와 NO 중 모델 내부 representation이 어느 쪽을 더 선호하는가?

이다.

6. 여기서 따로 학습하는 것은 없다

이 논문의 Internal Confidence 방법은 기본적으로 training-free다.

새로운 linear probe를 학습하지 않는다.

새로운 classifier도 학습하지 않는다.

projection matrix도 추가로 학습하지 않는다.

즉 구조는 다음과 같다.

Pretrained LLM
+ Self-assessment Prompt
+ Hidden-state Readout

뿐이다.

7. 그런데 왜 마지막 hidden state만 봐야 할까?

여기서 논문의 핵심 아이디어가 나온다.

Transformer에는 마지막 layer의 마지막 token representation 하나만 존재하는 것이 아니다.

입력 token 수를 N, layer 수를 L이라고 하면 각 token과 각 layer마다 hidden representation이 존재한다.

hn(l)

따라서 전체적으로는 대략

N × L

개의 hidden state를 볼 수 있다.

저자들의 질문은 다음과 같다.

모델이 이 문제를 알고 있는지에 대한 정보가 정말 마지막 hidden state에만 존재할까?

8. 모든 layer와 token에서 P(YES)를 계산한다

논문에서는 intermediate hidden state에도 동일한 LM head를 적용한다.

hn(l) → Wunemb → YES/NO logits → P(YES)

즉 각 token position과 각 layer마다

P(YES | hn(l))

를 계산할 수 있다.

그러면 하나의 질문에 대해 일종의 2차원 confidence map이 만들어진다.

  • 가로축: token position
  • 세로축: Transformer layer
  • 각 위치의 값: P(YES)

즉 모델 내부 여러 위치에서

“나는 이 문제를 풀 수 있을 것 같다.”

라는 신호가 얼마나 강하게 나타나는지를 볼 수 있다.

9. 마지막 layer가 항상 가장 좋은 것은 아니다

흥미롭게도 실험 결과 마지막 token의 마지막 layer가 항상 가장 좋은 uncertainty signal을 제공하지는 않았다.

일부 모델과 데이터셋에서는 intermediate layer가 실제 정답과 오답을 더 잘 구분했다.

저자들은 이렇게 좋은 discrimination을 보이는 영역을 Decision Center라고 부른다.

이 결과는 다음과 같은 해석을 가능하게 한다.

모델은 최종 출력을 만들기 전에 이미 중간 representation에서 “이 문제를 내가 아는가?”에 대한 신호를 형성하고 있을 수 있다.

10. Internal Confidence

그래서 저자들은 마지막 hidden state 하나만 사용하는 대신 여러 layer와 token의 confidence 정보를 합친다.

이를 Internal Confidence, IC라고 부른다.

IC(x) = Σ wn,l · P(YES | hn(l))

직관적으로 말하면 모델 내부 여러 위치에서 나온

“나 이 문제 아는 것 같은데?”

라는 신호를 ensemble하는 것이다.

11. 그럼 weight는 학습하는가?

이 weight 역시 일반적인 neural network parameter처럼 gradient descent로 학습하지 않는다.

저자들은 Decision Center를 기준으로 가까운 hidden state에 더 큰 weight를 주고, 멀어질수록 weight를 감소시키는 형태의 weighting rule을 사용한다.

즉 여기에서도 별도의 confidence network를 학습하지 않는다.

따라서 전체 방법은 여전히 training-free로 볼 수 있다.

12. 실험 데이터셋

논문에서는 성격이 다른 여러 QA 데이터셋을 사용한다.

  • TriviaQA: factual knowledge QA
  • SciQ: science QA
  • GSM8K: mathematical reasoning

모델 역시 서로 다른 계열을 사용한다.

  • Phi 계열
  • Llama 계열
  • Qwen 계열

각 질문에 대해 모델이 greedy decoding으로 실제 답을 생성한 뒤 정답 여부를 확인한다.

즉 label은 다음과 같이 만들어진다. 

1 = 모델이 정답
0 = 모델이 오답

그 다음 답을 생성하기 전에 계산한 P(YES) 또는 Internal Confidence가 이 label을 얼마나 잘 구분하는지 평가한다.

13. 평가 지표

AUROC

confidence가 높은 질문일수록 실제 정답일 가능성이 높은지를 평가한다.

높을수록 좋다.

PRR

Prediction Rejection Ratio다.

confidence가 낮은 질문부터 reject했을 때 실제로 모델이 틀릴 문제들이 얼마나 잘 제거되는지를 측정한다.

Selective prediction이나 abstention과 매우 관련이 깊은 지표다.

높을수록 좋다.

ECE

Expected Calibration Error다.

예를 들어 confidence가 0.8인 질문들을 모았을 때 실제 accuracy도 80% 정도라면 calibration이 잘 된 것이다.

ECE는 낮을수록 좋다.

14. 주요 결과

실험 결과 마지막 hidden state 하나에서 계산한 P(YES)도 어느 정도 모델의 정답 여부를 예측할 수 있었다.

즉 모델 내부에는 실제로 어느 정도의 self-knowledge signal이 존재한다.

하지만 여러 hidden state의 정보를 함께 사용하면 성능이 더 좋아졌다.

전반적으로 다음과 같은 경향을 보였다.

Last-state P(YES)
<
Naive Average
<
Internal Confidence

즉 모델이 자신이 알고 있는지에 대한 정보는 하나의 hidden state에만 존재하는 것이 아니라, 여러 layer와 token에 걸쳐 분산되어 있다는 것이 핵심 관찰이다.

15. 이 논문의 진짜 장점은 속도다

Internal Confidence가 모든 uncertainty 방법보다 항상 정확한 것은 아니다.

이 논문의 진짜 강점은 generation-free라는 점이다.

기존 answer-level uncertainty는 보통 다음과 같은 과정이 필요하다.

Question → Answer Generation → Uncertainty Estimation

Semantic Entropy처럼 여러 답변을 샘플링하는 방법이라면 generation을 여러 번 해야 한다.

반면 Internal Confidence는

Question → Forward Pass → Confidence

로 끝난다.

즉 autoregressive answer generation을 수행하지 않는다.

답변이 긴 reasoning task일수록 이 차이는 훨씬 커진다.

따라서 Internal Confidence의 장점은 다음과 같이 정리할 수 있다.

최고의 uncertainty estimator가 아닐 수는 있지만, 답을 생성하지 않고 매우 저렴하게 모델의 confidence를 추정할 수 있다.

16. 어디에 사용할 수 있을까?

RAG Routing

모든 질문에 retrieval을 사용하는 대신 먼저 Internal Confidence를 계산한다.

confidence가 높으면 모델이 직접 답하고, confidence가 낮으면 RAG를 호출한다. 

Question
   |
   v
Internal Confidence
   |
   +-- High --> Direct Answer
   |
   +-- Low  --> RAG

이렇게 하면 불필요한 retrieval 비용을 줄일 수 있다.

Model Cascading

작은 모델을 먼저 사용하고 confidence가 낮은 경우에만 큰 모델로 넘길 수도 있다. 

Question
   |
   v
Small LLM
   |
Internal Confidence
   |
   +-- High --> Small LLM Answer
   |
   +-- Low  --> Large LLM

쉬운 문제에서는 작은 모델을 사용하고 어려운 문제에서만 비싼 모델을 사용하는 방식이다.

17. 이 논문의 핵심 novelty

1) Answer-Level에서 Query-Level로

기존 방식은 생성된 답변까지 포함해서 uncertainty를 계산했다.

U(x, y)

이 논문은 질문만 사용한다.

U(x)

2) 별도 classifier 없이 LM head를 사용

새로운 linear probe를 학습하는 대신 pretrained LLM의 vocabulary head 자체를 confidence probe처럼 사용한다.

3) Intermediate representation 활용

마지막 hidden state만 보는 것이 아니라 여러 layer와 token의 self-knowledge signal을 aggregation한다.

이것이 Internal Confidence의 핵심이다.

18. 한계

첫 번째 한계는 white-box access가 필요하다는 것이다.

Intermediate hidden state를 꺼내야 하기 때문에 GPT와 같은 closed API 모델에는 그대로 적용하기 어렵다.

두 번째는 Decision Center의 위치가 모델이나 task에 따라 달라질 수 있다는 점이다.

세 번째는 Internal Confidence가 항상 answer-level uncertainty보다 높은 discrimination 성능을 보이는 것은 아니라는 점이다.

따라서 이 방법의 가장 큰 장점은 순수 accuracy보다는

Reasonable uncertainty estimation + 매우 낮은 inference cost

라고 보는 것이 적절하다.

19. Selective Abstention / IDK 관점에서 보면

이 논문은 selective abstention 연구와도 직접적으로 연결된다.

일반적인 IDK prompting은 모델에게 다음과 같이 지시한다.

모르면 “I don't know”라고 답하라.

그러면 모델의 최종 행동은 다음처럼 나타난다. 

Question
   |
   +-- Answer
   |
   +-- IDK

이 방식은 explicit abstention behavior를 보는 것이다.

반면 이 논문은 모델이 답을 생성하기도 전에 hidden representation에서 confidence를 직접 읽는다.

즉,

Explicit IDK Behavior
vs.
Implicit Internal Confidence

라는 차이가 있다.

이 관점은 selective abstention을 분석할 때 특히 중요하다.

예를 들어 “모르면 모른다고 답하라”는 prompt를 추가한 뒤 IDK 비율이 크게 증가했다고 하자.

그렇다고 해서 곧바로

모델이 자신이 모르는 문제를 더 잘 식별하게 되었다.

라고 말할 수는 없다.

단순히 prompt 때문에 모든 문제에서 더 보수적으로 변했을 수도 있기 때문이다.

좋은 abstention이라면 단순히 IDK rate가 높아지는 것이 아니라, 실제로 틀릴 문제에서 선택적으로 abstain해야 한다.

즉 ideally, 

P(IDK | Incorrect) = 높아야 함
P(IDK | Correct)   = 낮아야 함

이다.

Internal Confidence 역시 본질적으로 비슷한 질문을 다룬다.

모델 내부의 “나는 이걸 모른다”는 신호가 실제 모델의 오류와 얼마나 잘 정렬되어 있는가?

라는 것이다.

따라서 selective abstention이나 IDK 연구에서 이 논문은 매우 직접적인 related work로 볼 수 있다.

20. 한 줄 요약

이 논문은 LLM이 답을 생성한 뒤 uncertainty를 측정하는 대신, 답을 생성하기 전 hidden representation을 기존 LM head의 YES/NO 방향으로 projection하여 “이 질문을 내가 풀 수 있는가?”를 추정하는 방법을 제안한다.

그리고 그 confidence signal이 마지막 hidden state 하나에만 존재하는 것이 아니라 여러 layer와 token에 걸쳐 분산되어 있다는 점을 이용해 Internal Confidence를 구성한다.

Query → Hidden States → YES/NO Projection → Internal Confidence → Answer / RAG / Abstain

Reference

댓글

댓글 쓰기