길이와 이해의 차이
긴 입력을 받을 수 있도록 문맥 창을 늘리는 것과 그 내용을 제대로 활용하는 것은 다른 문제다. LongBench는 여러 응용 과제를 통해 긴 문맥의 이해를 비교하려 했다.
서로 다른 긴 입력 과제
단일 문서와 다중 문서 질의응답 및 요약을 포함한다. 소수 예시 학습과 합성 과제 및 코드 완성도 있어 특정 종류의 질문에만 평가가 집중되지 않도록 구성했다.
언어별 길이 단위
논문의 평균 입력 길이는 영어 6,711단어와 중국어 13,386문자다. 단어와 문자 및 토큰은 다른 단위이므로 수치를 그대로 같은 길이로 비교해서는 안 된다.
통합 형식과 비교
데이터셋을 통일된 형식으로 표준화해 자동 평가에 활용하도록 했다. 초기 연구는 위치 표현의 조정과 긴 시퀀스 미세 조정 및 검색을 통한 문맥 압축 조건도 분석했다.