AI Information

Abstract  대규모 언어 모델(LLM)을 대규모 텍스트 데이터의 대규모 말뭉치로 사전 훈련시키는 것은 이제 표준 패러다임입니다.  이러한 LLM을 다양한 하위 응용 프로그램에 사용할 때, 추가로 새로운 지식(예: 시간적으로 중요한 뉴스 또는 개인 도메인 지식)을 사전 훈련된 모델에 내장시키는 것이 일반적입니다.  이는 RAG 기반 프롬프팅이나 파인튜닝을 통해 이루어질 수 있습니다.  그러나 새로운 지식을 획득하기 위한 최적의 방법은 여전히 미해결된 문제입니다.  본 논문에서는 Retrieval Augmented Fine Tuning (RAFT)이라는 훈련 레시피를 제시하여 모델의 "오픈북" 도메인 설정에서의 질문에 답하는 능력을 개선합니다.  RAFT에서는 질문과 검색된 문서 세트가 주어지면, 질문에 대한 도움이 되지 않는 문서, 즉, 방해 요소 문서를 무시하도록 모델을 훈련합니다.  이를 위해 RAFT는 질문에 답하는 데 도움이 될 것으로 예상되는 관련 문서에서 적절한 순서를 직접 인용함으로써 이를 달성합니다.  이는 RAFT의 chain-of-thoughtstyle response과 결합되어 모델의 추론 능력을 향상시킵니다.  도메인 특정 RAG에서, RAFT는 PubMed, HotpotQA 및 Gorilla 데이터셋을 통해 모델의 성능을 일관되게 향상시키며, 사전 훈련된 LLM을 도메인 내 RAG로 개선하기 위한 후처리 레시피를 제시합니다.  RAFT의 코드와 데모는 https://github.com/ShishirPatil/gorilla에서 오픈 소스로 제공됩니다. 1. Introduction 대규모 언어 모델(LLM)은 방대한 양의 공개 데이터로 훈련되어 다양한 일반 지식 추론 작업에서 상당한 진전을 이뤘습니다(Brown et al., 2020; Wei et al., 2022).  그러나 최근에는 점점 더 LLM이 특정 도메인에서 사용되어 특정 소프트웨어 프레임워크에 대한 코드 완성부터 특정 문서 컬렉션(예: 법적이거나 의료 문서

◼ Comment 전체적으로 페이지 limit 이슈땜에 부록으로 넘긴 부분이 꽤 있는 느낌을 받긴 했네요. 전체적인 논문 흐름은 딱히 이상한 점 없는거 같아요. 1. Introduction - Furthermore, researchers have observed that the models understand human instructions in natural language formats, which makes general people easy to use AI models. : researcher --> previous researches/works : general people --> non-expert people - Despite the benefits, only a few affiliations could successfully launch services based on LLMs and maintain them. : them에 NAVER도 넣으심이? 어차피 hyperclova쓰고 말하는거보면 NAVER인거 다 알거 같아서 - However, the gaps could be covered if we negotiate the model size or use a publicly-opened pretrained model and fine-tune it. : reference나 이런 사례(오픈 소스 예시)들을 같이 말해주면 좋을 것 같습니다. - Since people generally consider generative models as human-like assistants interacting with conversation, the inputs (in our case, search query log) might be similar regardless of application type while the outputs could be different according to the purpose of the system.  We thus

Abstract  본 연구에서는 7억 개에서 700억 개의 파라미터까지 다양한 규모의 사전 훈련 및 파인 튜닝된 대규모 언어 모델(Large Language Models, LLMs)인 Llama 2를 개발하고 공개합니다.  우리의 파인 튜닝된 LLMs인 Llama 2-Chat은 대화 사용 사례에 최적화되었습니다.  저희 모델들은 우리가 테스트한 대부분의 벤치마크에서 오픈 소스 대화 모델보다 우수한 성능을 보이며, 저희가 실시한 인간 평가에서 유용성과 안전성에 대한 평가에 따르면, 닫힌 소스 모델에 대한 적절한 대안일 수 있습니다.  우리는 Llama 2-Chat의 파인 튜닝 및 안전성 개선 접근 방식에 대한 상세한 설명을 제공하여 커뮤니티가 저희의 작업을 기반으로 빌드하고 책임 있는 LLMs의 개발에 기여할 수 있도록 합니다. 1 Introduction 대형 언어 모델(LLMs)은 프로그래밍 및 창의적 글쓰기와 같은 전문 분야를 포함하여 다양한 분야에서 전문 지식이 필요한 복잡한 추론 작업에서 뛰어난 능력을 발휘하는 고도로 능숙한 AI 어시스턴트로 큰 가능성을 보여주고 있습니다.  이들은 직관적인 채팅 인터페이스를 통해 사람들과 상호 작용할 수 있게 해주어 일반 대중 사이에서 빠르고 널리 채택되고 있습니다. LLMs의 능력은 훈련 방법론의 보다 단순해 보이는 성격을 감안할 때 주목할 만합니다.  자기지도 데이터의 방대한 말뭉치에서 사전 훈련된 자기회귀 트랜스포머는 인간의 선호도와의 조율을 위해 Reinforcement Learning with Human Feedback (RLHF)와 같은 기술을 통해 사전 정렬됩니다.  비록 훈련 방법론이 간단하지만, 높은 컴퓨팅 요구로 인해 LLMs의 개발은 소수의 주요 참가자로 제한되어 왔습니다.  BLOOM (Scao et al., 2022), LLaMa-1 (Touvron et al., 2023) 및 Falcon (Penedo et al., 2023)과 같은 사전 훈련된 LLMs의 공개 배포가 있었지만, 이러한 모델 중