AI Information

◼ Comment MoE 초기 논문 이후로, 그 다음 MoE 국밥 논문인듯 내가 느끼기엔 근데 방법론 자체는 비슷한데, Transformer 구조에 적용하고 다양한 실험을 해본 것 전체 구조는 그림 2와 같고, Transformer에서 FFN layer을 보통 모든 입력에 대해 동일한 layer을 사용하는데 여기서는, 입력 토큰별로 다른 FFN layer을 쓴다는 것이다. 그럼 어떤 FFN layer을 사용하는지를, Router을 둬서 사용하는것이고, 이 방법은 MoE 방법과 동일하다 단, 몇개의 FFN layer을 사용할지 top-k 을 선택해야하는데 기존에는 2개 이상을 쓰는걸로 주로 실험되었지만, 여기서 해보니 top-1을(expert 1개만 사용) 써도 성능 잘나오더라 학습 효율 top-1 expert을 사용하게끔 학습할때, 입력이 하나의 expert로 쏠리는 학습 불안정 현상이 있다는거 같음 그래서 이를 어느정도 균등하게 하기 위한 노력이 있는데, 1) 식 3처럼, expert당 처리할 수 있는 입력 토큰 개수를 정해두고, 이 제한 입력이 꽉차면, 이 expert로 들어오면 FFN layer의 출력을 0 처리해서 residual 로 바꿔버림.  이를 dropped token이라 부름 2) 식 4,5,6처럼 penalty loss 개념을 도입한다. 이 Loss는 균등하게 Expert로 분배되면 낮아지는 수식이다 즉 배치에 구성된 토큰들이 만약 한쪽 expert로 쏠리면, f, P 값이 커지면서 loss가 증가한다 여기서 f는 실제 top-1 배분 비율, P는 router가 준 확률의 평균 실험 결과는 그냥 스크리닝만 했는데, 기존 dense 스타일인 T5랑 MoE 모델보다 같은 토큰 학습 steps 기준 좋다라고 주장하는거 같음 전반적으로 sparse expert는 학습 불안정성이 있지만, 이거를 bfloat16으로 해결하려고 했던거 같고  모델 스케일링 실험 expert을 늘리면 손쉽게 capacity 늘리고 성능도 좋아지지만, 한계가...

◼ Comment 이 논문은 MoE의 시초로 쓱 봤는데, MoE 아이디어를 한번더 확인한 느낌 알아둬야할것은 2.1 섹션이면 될것 같음 즉 입력값에 weight 곱하고 softmax 취해서 expert 취한다는 것인데 단순히 이렇게 하면 확률의 차이지 모든 expert을 계산해야하기 때문에 Noisy top-k gating이라해서, 가우시안 노이즈 더하고 expoert top-k만 선별하는 식으로 업데이트한다 섹션4에서 MoE학습시, 몇 개의 epxert가 큰 가중치를 주는 상태로 수렴하는 경향이 있는 문제가 있음 즉 선호되는 expert가 있고, 이것이 자주 선택되고 빠르게 학습되기 때문에 local minimum에 빠질 수 있다고함 그래서 추가적인 loss을 제안해서 밸런싱을 맞추려고 한 것 같음 ABSTRACT 신경망이 정보를 흡수할 수 있는 능력은 그 파라미터 수에 의해 제한된다. 조건부 계산(conditional computation)은 네트워크의 일부가 예제마다 선택적으로 활성화되도록 하여, 계산량을 그에 비례해 늘리지 않고도 모델 용량을 극적으로 키우는 이론적 방법으로 제안되어 왔다. 그러나 실제로는 알고리즘적·성능적 난제가 상당하다. 본 연구에서는 이러한 난제를 해결하고 조건부 계산의 가능성을 마침내 실현하여, 현대 GPU 클러스터에서 계산 효율의 손실은 크지 않으면서 모델 용량을 1000배 이상 향상시킨다. 우리는 수천 개의 feed-forward 서브네트워크로 구성된 Sparsely-Gated Mixture-of-Experts 레이어(MoE)를 제안한다. 학습 가능한 게이팅 네트워크는 각 예제마다 사용할 전문가들의 희소한 조합을 결정한다. 우리는 이 MoE를 언어 모델링과 기계번역에 적용하는데, 이들 과제에서는 훈련 코퍼스에 존재하는 방대한 지식을 흡수하기 위해 모델 용량이 매우 중요하다. 또한 최대 1370억 개의 파라미터를 갖는 MoE가 스택된 LSTM 층 사이에 합성곱 방식으로 적용되는 아키텍처를 제시한다. 대규모 언어 모델링 및 기계번...

◼ Comment 어쩌다 읽게 된 논문인데 나쁘지 않은 결론이다. LLM을 학습할때 데이터 시드별 비율을 적당히 정해서 처음부터 끝까지 학습하는게 보통인데 여기서는 그 비율을 후반부에서 바꿔보니 성능이 꽤 올랐다는 것이다 학습방식 베이스) 테이블 1의 학습 방식으로 7B 모델을 1T토큰 학습하는 세팅인데 기본 pretraining 데이터셋 비율을 테이블 2처럼 구성한다. 테이블2의 구성은 휴리스틱하게 정한것이고, 이게 Llama2보다 더 좋은 가성비?(FLOPS대비 성능)이 좋다는 것을 그림 1로 보인다 DU) 베이스 모델의 중간 체크포인트인 0.8T에 이어서, 0.2T는 다른 데이터세트 비율로(테이블 4) 학습을 이어서 하는 것이다 그랬더니 기본 성능은 유지되고, DU 비율에서 강화시킨 코드/MMLU에 대한 성능이 향상되는 것을 보여준다. MMLU가 여러 도메인을 포함하기 때문에 도메인 데이터가 MMLU 타겟 데이터라 보는 듯? 베이스 vs DU 그럼 그냥 DU의 데이터 비율이 좋은거 아니냐라고 의문가질 수 있는데, 테이블 6이 DS 비율을 언제부터 학습하는게 좋은지 ablation 해본 것 결론은, DS 비율로만 학습하게 됐을때 일반적인 성능이 떨어지는 것을 보여준다 즉 적절한 데이터 비율의 변환 시점을 찾는 실험을 한 것이고 그게 20%라는 것 활용 방식 이 findings을 활용할 수 있는 것으로, 학습 데이터가 여러 시드로 구성됐을 때, 어떤 데이터가 성능 향상에 기여하는 것이냐? 라는 것을 확인할 수 있다는 것 기존에는 처음부터 데이터를 하나씩 빼가는 식의 ablation은 비용이 너무 컸었음 이 발견을 통해, 80%까지는 동일하게 학습하고 후반 학습시, 데이터 세트의 비율만을 바꿔서 관측하면 된다라는 것. Abstract 대규모 언어 모델(LLM)을 위한 사전학습 데이터셋은 수조 개의 토큰 규모로 성장했으며, 대량의 CommonCrawl(CC) 웹 스크랩 데이터와 더불어 소규모의 도메인 특화 데이터셋들로 구성된다. 이러한 도메인 특화 데이터셋이 모...

1. 텍스트와 오디오가 동시에 되는 모델을 학습한게 맞지? 부분적으로 맞다. 정확히는 텍스트 조건(condition) 기반 오디오 생성 모델 이다. 즉: 입력: 텍스트(phoneme sequence) 짧은 오디오 프롬프트(3초 enrolled speech) 출력: 오디오 codec discrete token 최종적으로 waveform 복원 이다. 논문에서 TTS를 다음과 같이 정의한다. phoneme sequence (x) acoustic prompt (\tilde{C}) 를 조건으로 acoustic code matrix (C) 를 생성하는 conditional language modeling 문제로 본다. 즉 GPT처럼 “다음 토큰 예측” 구조이긴 하지만, 텍스트와 오디오를 모두 자유롭게 생성하는 multimodal foundation model은 아니다. 모델 입력 텍스트 입력 문자 자체가 아니라 phoneme sequence G2P(grapheme-to-phoneme) 변환 사용 오디오 입력 3초 enrolled speech 이를 neural codec tokenizer(EnCodec)로 discrete token화한 acoustic prompt 사용 모델 출력 EnCodec discrete acoustic token 이후 codec decoder가 waveform 복원 2. 학습할때 텍스트와 오디오 모두 discrete token으로 변환해서 next token prediction한게 맞는지? 절반만 맞다. 텍스트 텍스트는 phoneme sequence로 변환되지만, 논문에서는 이를 “discrete codec token”처럼 양자화했다고 설명하지는 않는다. 즉: phoneme embedding 사용 일반 NLP token embedding과 유사 이다. 오디오 오디오는 명확히 discrete token으로 변환한다. EnCodec tokenizer를 사용해: waveform → RVQ token sequence 로 변환한다. 그리고 이것을 langua...

1. 텍스트와 오디오가 동시에 되는 모델을 학습한 게 맞나? 부분적으로만 맞다. 이 논문은 speech language model(SpeechLM) 을 다루지만, 실제로는 오디오 토큰만 직접 모델링 한다. 텍스트 토큰과 오디오 토큰을 함께 넣는 멀티모달 LM은 아니다. 논문에서 모델 입력은 다음 순서의 audio discrete token sequence 이다. Mimi codec이 만든 semantic token Mimi codec이 만든 acoustic token 이를 flatten해서 하나의 시퀀스로 Transformer decoder에 입력 즉: 입력: 오디오 → discrete audio tokens 출력: 다음 audio token prediction → 최종적으로 오디오 waveform 복원 이다. 다만 backbone 자체는 pretrained Llama 3를 사용한다. 따라서: backbone은 원래 텍스트 LM 하지만 본 논문 학습에서는 audio token vocabulary를 추가해 speech generation에 사용 한 구조다. 지원하는 입출력은: 타입 지원 여부 Audio input O Audio output O Text input 논문에서 직접 지원한다고 설명 안 함 Text output 논문에서 직접 지원한다고 설명 안 함 논문은 speech continuation task 중심이다. 즉 “오디오 prompt → 이어지는 오디오 생성”을 다룬다. 2. 학습할 때 텍스트와 오디오 모두 discrete token으로 변환해서 next token prediction 했나? 아니다. 논문 기준으로는 오디오만 discrete token으로 변환 해서 next-token prediction을 수행한다. 논문 핵심은: Mimi codec이 waveform을 RVQ discrete token으로 변환 이를 flatten autoregressive next-token prediction 수행 이다. 모델 objective는 표준 causal ...