AI Information

LLM 페이지: https://ai-information.blogspot.com/2024/11/paper-history-llm.html * 읽어볼것 search result diversification Diversity by proportionality: an election-based approach to search result diversification, SIGIR 2012 MIMICS‐Duo: Offline & Online Evaluation of Search Clarification , SIGIR 2022 (Resource Track) 읽을 논문 찾기 https://github.com/jxzhangjhu/Awesome-LLM-RAG Large Language Models: A Survey https://github.com/Hannibal046/Awesome-LLM?tab=readme-ov-file https://github.com/dair-ai/ML-Papers-of-the-Week https://www.promptingguide.ai/papers 저자로 참여한 논문 1. Natural Language Generation SeqGAN: Sequence Generative Adversarial Nets with Policy Gradient, AAAI  2017 [ 포스팅 ] M a liGAN: M a ximum-Likelihood Augmented Discrete Generative Adversarial Networks , Preprint  2018 [ 포스팅 ] MaskGAN: Better Text Generation via Filling in the _____ _ , ICLR  2018 [ 포스팅 ] 참고 https://github.com/Eulring/Text-Generation-Papers 2. Style Transfer Toward Controlled Generation of Text, ICML 201...

 WebNLG 데이터세트로 실험을 하는데, 엄밀히 최고의 성능을 뽑기 위해서 한 것이 아니라, E2E 데이터세트로 실험한 방법이 이곳에도 적용될 수 있다는 점을 보여주려고 한 것이다. 따라서 비교 대상은 다음과 같다. baseline:  The WebNLG Challenge: Generating Text from RDF Data , INLG-2017 automatic best system:  Melbourne human best system:  FORGe at SemEval-2017 Task 9: Deep sentence generation based on a sequence of graph transducers , SEMVAL WS-2017 https://webnlg-challenge.loria.fr/files/upf-forge_report.pdf 물론 챌린지 이후로 더 좋은 시스템들이 나왔으나, 일단 챌린지에서 best 시스템을 간단히만 확인해보자. 1. Melbourne 자동평가에서 best system이라고 하는데 논문은 없지만, 리포트는 있으니 리포트로 파악을 해보자. 데이터가 다음과 같이 주어지게 된다. 먼저 preprocessing을 다음과 같이 한다. Determining the type of entity 각 triple의 subject and object을 type으로 매핑시킨다. For example:  Donald Trump: PERSON  1946-06-14: DATE  United States of America: PLACE  이것은 DBPedia에서 정보를 수집한 것이다. 우리는 정규 표현을 사용하여 숫자와 날짜를 검출에대해 특수처리을 사용한다. For unknown entity, we use UNKOWN type. Creating training data 이 작업에 사용되는 딥 러닝 모델은 일반적으로 기계 번역에 사용되는 인코더-디코더 아키텍처이므로 입력 및 출력은...

방법론 정리 (2019년도 논문들 위주의 내용으로 정리해보겠음) 1. Style Transformer: Unpaired Text Style Transfer without Disentangled Latent Representation encoder-decoder” framework Hu et al., 2017 (Toward controlled generation of text) Shen et al., 2017 (Style transfer from non-parallel text by cross-alignment) Fu et al., 2018 (Style transfer in text: Exploration and evaluation) Carlson et al. 2017;  Zhang et al., 2018b,a (Style transfer as unsupervised machine translation) Prabhumoye et al., 2018 (Style transfer through back-translation) Jin et al., 2019 Melnyk et al., 2017 dos Santos et al., 2018 learned latent representation 기반 Shen et al. (2017) Hu et al. (2017) Fu et al., 2018 John et al., 2018 Zhang et al., 2018a,b without manipulating latent representation Xu et al. (2018) (Unpaired sentiment-to-sentiment translation: A cycled reinforcement learning approach.) Li et al. (2018) ( Delete, Retrieve, Generate: A Simple Approach to Sentiment and Style Transfer ) Lample...