평가 자료의 오염
공개된 시험 자료가 새 모델의 학습에 포함되면 점수가 실제 일반화 능력을 반영하지 못할 수 있다. LiveBench는 최근 정보에서 질문을 만들고 갱신하는 방식으로 이 문제를 줄이려 했다.
다양한 과제의 구성
수학과 코딩 및 추론과 언어 및 지시 이행과 데이터 분석을 포함한다. 최근 수학 대회와 논문 및 뉴스와 데이터셋 등으로 질문을 구성했다.
정답에 기반한 채점
사람이나 언어 모델 평가자의 선호만으로 점수를 매기는 대신 객관적인 정답 값을 이용해 자동 채점한다. 어려운 질문에서 평가자의 판단 능력에 의존하는 문제를 줄이는 방향이다.
갱신과 난도의 조절
논문은 질문의 정기적 추가와 갱신 및 더 어려운 과제의 도입을 제안했다. 오염을 제한하려는 설계이며 어떤 모델에도 오염이 전혀 없다고 보장하는 의미는 아니다.
관련 문서
HELM 언어 모델 평가 / IFEval / LiveCodeBench / BIG-bench / MMLU / 언어 모델