Presentation

RAG의 필요성

• 지식의 유통기한: 
• 새로운 지식에 대한 학습이 지속적으로 이루어지기 시간이 있기 때문
• 재학습이 없어도 되는 비용 효율
• private 지식
• 사내 정보는 접근할 수 없는 경우도 다수
• 금융, 의료 데이터와 같은 경우
• 출처, 근거 투명성
• 정보의 출처를 알고 싶은 니즈
• 특정 컨텍스트를 참고하게 하고 싶은 경우
• 모델의 사이즈 효율
• 신뢰할만한 레퍼런스가 있다면, 작은 모델로도 충분히 훌륭한 답변을 기대해볼 수 있음
• 멀티모달 스트리밍
• 텍스트, 이미지, 표 등 다양한 모달리티 활용하기 위함

검색 분야

• 검색 시스템을 새롭게 구축하는것은 도전적 => 오픈된 api로 접근하는 것이 현실적
• 사내 문서 및 특정 문서들에 대한 검색 시스템
• BM25
• 고성능 임베딩 모델

검색과 LLM 같이 학습하는 패러다임

• 광범위하게 적용하기는 힘든 방법
• 고정된 문서셋이 있다면 고려해볼 수 있음

Multimoal RAG

• Ask in Any Modality: A Comprehensive Survey on Multimodal Retrieval-Augmented Generation
• MuRAG: Multimodal Retrieval-Augmented Generator for Open Question Answering over Images and Text
• 퍼플렉시티
  • 이미지 첨부하여 말로 설명
  • 트럼프 사진 -> 정책 물어보기
  • 연세대학교 사진 -> 어딘지 물어보기

환각 디코딩

• CAD: Trusting Your Evidence: Hallucinate Less with Context-aware Decoding, NAACL 2024 [포스팅]

COCOM: Context Embeddings for Efficient Answer Generation in RAG