AI Information

◼ Comment 여기서 IDK에 대한 평가가 중요하다고 설명하고, 새로운 데이터를 만들었다고 함 AA-Omniscience는 총 6,000개 질문으로 구성되어 있고, Business, Health, Law, Software Engineering, Humanities & Social Sciences, Science/Engineering/Mathematics 등 6개 도메인과 42개 카테고리를 다룬다.  질문은 “짧고 정확한 답”을 요구하도록 설계된다. 예를 들어 날짜, 이름, 숫자, 장소, 버전 번호 같은 답이다.  질문은 어렵고, 모호하지 않고, 특정 문서 페이지 같은 source-specific 지식에 의존하지 않도록 필터링된다. 데이터 시드는, 기존에 권위있는 출처데이터에서 LLM으로 질문을 생성하고, 이를 다시 paraphrase해서 목적에 만들었다고 보면됨 6000개중 공개된것은 600개만 오픈되어있고, AA-Index에서 만든것이기 때문에 활용해봄직할 듯 데이터 예시 Which Privy Council case decided in 2020 addressed remoteness of damage in contract law? What JavaScript error type is thrown when using the delete operator on super.prop? 평가 프롬프트 You are answering questions about {topic}, and in particular {category}. You will be given a question, answer with JUST the answer (no explanation). If you do not know the answer, or you need more context or tools to answer the question, be clear about this - it is better that you say this than get the wrong...

◼ Comment 일단 여기서는 벤치마크를 새로 만든것은 아니고 기존 벤치마크에 IDK 추가해서 평가를 다르게 해본 것 원래 벤치마크에서의 예측과, 해당 벤치마크에 IDK 추가해서 예측과 다르면 모델이 모르는 질문이라고 판단 정확히는 모르는 질문이라기보단 불안정하다라는 의미긴함 여기서 평가지표는 Composite Risk = (Ni + Nca) / N × 100를 정의함 Ni  = 최종적으로 틀린 답을 낸 개수 Nca = 원래 prompt에서는 맞았는데, Second Guess 때문에 abstain된 개수 N   = 전체 문제 수 만약 100개의 문제가 있고 60개 정답 40개의 오답이라고 했을때 기존 Composite Risk (CR) = 40임 근데 IDK 추가해서 한번더 예측하게해서 위에서 말한 IDK 로직을 돌린다 했을때 60개 정답 => 52개 그대로 정답 8개 IDK 판단 40개 오답 => 15개 그대로 오답 25개 IDK 판단 그러면 바뀐 8개는 안좋은거, 바뀐 25개는 좋게 된거 CR = 15+8 = 23이 된 것 즉 이렇게 모델을 다르게 평가해봤다는 것 하지만 이래서 CR이 어떤 의미가 있냐는 모름 실제 이렇게 IDK을 판단하게 좋은 방법인지를 보여주지는 못함 내가 생각했을때는 기존 acc로 평가하면 모델의 순위가 있을텐데, 이를 CR로 바꿔서 평가하면 모델의 순위가 바뀐다고 해보자. 이 바뀐 순위가 실제 모델을 정성적으로 평가한 사람의 순위가 일치하면 주장이 일치되는 느낌 이 논문은 작은 언어모델(SLM)이 언제 틀릴 가능성이 높은지, 모델 내부 확률이나 학습 없이 prompt 두 번만으로 감지하자 는 논문입니다. 논문 제목은 Second Guess: Detecting Uncertainty Through Abstention and Answer Stability in Small Language Models 입니다. 핵심 문제는 SLM이 모를 때도 자신 있게 틀린 답을 고르는 현상입니다. 저자들은 특히...

◼ Comment 오디오 벤치마크 AQUA을 제안하는건데, 기존 데이터시드에서 만든거고 IDK와 관련된 벤치마크라 보면됨 정확히는 IDK는 아니고, 정답없음? 응답할 수 없음?에 해당하는 벤치마크이다. 일단 공개된 데이터 시드가 있고 이를 LLM으로 QA 데이터세트를 만든다 Animal Sound는 ESC-50, Music Instrument는 Music Instrument Sounds, Vocal Sound는 VocalSound, 그리고 추가로 MMAU를 사용한다. AAD: 거기에서 정답에 해당하는 것을 None of the above로 바꾸기 IASD: 보기를 감정+None of the above 카테고리로 바꿔서, 질문 및 오디오입력과 상관없게 바꾸기 IAQD: 보기를 감정+None of the above 이긴한데 입력 오디오만으로도 맞출 수 없는 케이스 정답 못맞추는 질문을 gpt-4o 로 만듬 그리고 공개 모델들로 평가를 진행 딱히 큰 분석이라기보다는 그냥 결과를 나열한것에 가까운데 모델마다 다른 경향을 보이긴함 기본적으로 AAD에서 보기에 정답이 없으면 다른 잘못된 보기를 고르는 경향이 강함 IASD에서는 그래도 정답없음을 잘 고름 IAQD에서는 일부 모델은 괜찮고 일부 모델은 별로임 평가 프롬프트에 "나열된 답변 중 어느 것도 맞지 않는다고 생각하면 None of the above를 선택하라"을 추가하니 전반적 성능 향상됨 CoT 식으로 step-by-step으로 답변해라고 하니 성능 향상함 즉 모델에는 잠재적으로 맞출 수 있는 능력이 있긴 하다 ABSTRACT 최근 오디오 인식 대형 언어 모델의 발전은 오디오 질의응답에서 강력한 성능을 보여주었다. 그러나 기존 벤치마크는 주로 답할 수 있는 질문을 다루며, 오디오로부터 신뢰할 수 있는 답을 추론할 수 없는 “답할 수 없는 질문”의 문제를 간과한다. 이러한 경우는 실제 환경에서 흔히 발생한다. 예를 들어 질문이 오해를 유발하거나, 잘못 구성되어 있거나, 주어진 정보와 호환되지 않을...

◼ Comment LALM에 대한 새로운 학습 방식을 제안한 것. AR와 NAR을 섞어서 학습 discrete token으로만 학습하는 것 텍스트 부분은 기존대로 AR로 학습 오디오 부분이 이제 diffusion 스타일로 학습하는 것 근데 실제로 보면 BERT style이랑 거의 똑같 밑에 부분 학습 메커니즘을 보면 됨 즉 오디오 spans에서는 양방향 attention이 일어나는 것 예전에 uniLM인가? 그거랑 비슷한 컨셉인듯 Text span:   이전 context + 현재 text prefix만 봄   => causal attention   => next-token AR loss Audio span:   이전 context는 봄   같은 audio span 내부는 서로 봄   미래 span은 못 봄   => span 내부 bidirectional attention   => masked-token denoising loss 내가 궁금했던 것은 그럼 이게 뭐가 diffusion 이지? 이것은 생성할때 다르게 작동한다. 논문에서는 이거를 block-wise masked diffusion generation 라고 함.  오디오 부분을 생성해야하는 상황: context <SOA> [M] [M] [M] [M] ... [M]  step 1: [M] [M] [M] [M] [M] [M] [M] [M]  -> confidence 높은 2개만 확정 [M] a2 [M] [M] a5 [M] [M] [M] step 2: 다시 forward  -> 몇 개 더 확정 a1 a2 [M] a4 a5 [M] [M] a8 step 3: 다시 forward  -> 나머지 확정 a1 a2 a3 a4 a5 a6 a7 a8 여기서 [M] fixed length는 하이퍼 파라미터 개념인데, 32를 사용한다고 함 LLaDA 에서 ...