더 긴 문맥의 평가
수만 토큰 안팎의 평가만으로는 10만 토큰 이상의 입력을 처리하는 모델을 충분히 비교하기 어려울 수 있다. InfiniteBench는 그보다 긴 평균 입력을 가진 평가를 제시했다.
합성과 현실 과제
서로 다른 분야의 합성 과제와 현실적인 과제를 함께 구성했다. 긴 입력을 처리하는 한 종류의 시험만으로 능력을 판단하지 않도록 범위를 넓혔다.
긴 의존 관계 이해하기
과제는 문맥 속의 긴 의존 관계를 이해하도록 설계됐다. 제한된 수의 구간을 검색해 오는 것만으로 충분하지 않은 조건을 다룬다.
초기 모델 분석
논문은 긴 문맥용 모델들을 비교하고 입력 처리 행동을 추가로 분석했다. 긴 입력을 받아들이는 기능과 그 내용을 추론에 활용하는 성능 사이의 간격을 살폈다.
관련 문서
LongBench / RULER / Lost in the Middle / QuALITY / QASPER / 언어 모델