*NL-217, Cognitive Mirage: A Review of Hallucinations in Large Language Models, Survey Paper 2024

0 Abstract

• 대규모 언어 모델(LLM)이 AI 분야에서 계속 발전함에 따라, 텍스트 생성 시스템은 환각이라는 우려스러운 현상에 취약해지고 있습니다. 
• 이 연구에서는 LLM의 환각에 대한 최근의 중요한 통찰을 요약합니다. 
• 우리는 다양한 텍스트 생성 작업에서 발생하는 환각에 대한 새로운 분류 체계를 제시하며, 이로부터 이론적 통찰, 탐지 방법 및 개선 접근법을 제공합니다. 
• 이를 바탕으로 향후 연구 방향을 제안합니다. 우리의 기여는 세 가지로 요약됩니다: 
• (1) 텍스트 생성 작업에서 나타나는 환각에 대한 상세하고 완전한 분류 체계를 제공합니다; 
• (2) LLM에서의 환각에 대한 이론적 분석과 기존 탐지 및 개선 방법을 제공합니다; 
• (3) 향후 개발될 수 있는 여러 연구 방향을 제안합니다. 
• 환각이 커뮤니티에서 상당한 관심을 끌고 있기 때문에, 우리는 관련 연구 진행 상황에 대한 업데이트를 유지할 것입니다.

1 Introduction

• 끊임없이 진화하는 대규모 언어 모델(LLM)의 영역에서 GPT-3(Brown et al., 2020), InstructGPT(Ouyang et al., 2022), FLAN(Wei et al., 2022a), PaLM(Chowdhery et al., 2022), LLaMA(Touvron et al., 2023)와 같은 혁신적인 창작물이 등장했습니다. 
• 이 모델들은 전 세계적인 지식을 사전 훈련 단계에서 파라미터 내에 암묵적으로 인코딩하여, 다운스트림 작업에 대한 귀중한 통찰을 제공합니다(Han et al., 2021; Huang and Chang, 2023). 
• 그러나 지식의 일반화는 기억 왜곡을 초래할 수 있으며, 이는 잠재적인 부정확성을 유발하는 내재적 한계가 될 수 있습니다(Yu et al., 2023b). 
• 또한 지식을 표현하는 능력은 모델의 규모에 의해 제한되며, long-tailed knowledge problems를 해결하는 데 어려움을 겪고 있습니다(Kandpal et al., 2023; Mallen et al., 2023). 
• 현실 세계의 데이터의 개인정보 보호와 적시성 문제는 이 문제를 더욱 악화시켜 모델이 포괄적이고 최신의 사실을 유지하기 어렵게 만듭니다(Lazaridou et al., 2022; Shi et al., 2023b). 
• 이러한 도전 과제는 LLM의 신뢰성에 심각한 장애물을 제시하며, 이를 환각이라고 합니다(Yu et al., 2022). 
• 이러한 단점의 두드러진 예는 모델이 그럴듯하게 보이지만 인지적으로 무관하거나 사실적으로 부정확한 진술을 생성하는 경우입니다.
• 이러한 관찰에 비추어 볼 때, 환각은 의료(Dash et al., 2023; Umapathi et al., 2023), 금융(Gill et al., 2023) 및 기타 지식 집약적 분야에서 중요한 과제로 남아 있으며, 정확성에 대한 요구가 매우 높습니다. 
• 특히, 법률 사례 작성 응용 프로그램은 다양한 주관적 관점을 종합하여 그럴듯한 해석을 보여줍니다(Curran et al., 2023).
• 환각의 정의. 
• 그림 1에 나타난 바와 같이, 환각은 문법적으로 올바르고 유창하며 진실성 있는 텍스트나 응답을 생성하지만, 제공된 소스 입력과 일치하지 않거나(충실성) 사실적 정확성과 일치하지 않는 경우(사실성)를 말합니다(Ji et al., 2023). 
• 
• 전통적인 NLP 작업에서 환각은 종종 faithfulness과 동의어로 사용됩니다: 
• 상충되는 정보는 내재적 환각을 초래하여, 입력 정보와 충돌하는 응답을 생성합니다; 
• 반대로 모호한 보충 정보를 생성하면 외재적 환각이 발생할 수 있으며, 이는 개인 이름, 역사적 사건 또는 기술 문서를 생성하여 검증이 어려운 경우를 말합니다.
• LLM 지향 환각은 사실성을 우선시하며, 결과가 외부 현실 세계의 사실을 참조하여 입증되거나 부정될 수 있는지에 중점을 둡니다. 
• LLM에 대한 비판적이지 않은 신뢰는 인지적 신기루 현상을 초래하여 잘못된 의사결정을 유발하고 의도치 않은 결과의 연쇄 반응을 초래할 수 있습니다(Zhang et al., 2023a).
• Present work To effectively control the risk of hallucinations, we summarize recent progress in hallucination theories and solutions in this paper. We propose to organize relevant work by a comprehensive survey (Figure 2):

Reference

• https://arxiv.org/pdf/2309.06794