같은 정보와 다른 위치
입력에 정답을 찾는 데 필요한 정보가 있더라도 모델이 항상 잘 활용하는 것은 아니다. 연구는 관련 정보의 위치를 바꾸며 성능이 어떻게 달라지는지 살폈다.
가운데에 있는 정보
실험에서는 관련 정보가 입력의 시작이나 끝에 있을 때 성능이 높은 경우가 많았다. 긴 입력의 가운데에 있는 정보에 접근해야 할 때는 성능이 낮아지는 경향을 관찰했다.
명시적인 긴 문맥 모델
긴 문맥을 처리하도록 설계된 모델도 실험에 포함됐다. 입력 한도를 늘린 모델이라는 사실만으로 모든 위치의 정보를 똑같이 활용한다고 볼 수는 없다는 문제를 제기했다.
평가 조건의 설계
다중 문서 질의응답과 키값 검색은 관련 정보를 식별해야 하는 과제다. 이 연구는 길이별 점수뿐 아니라 정보 배치에 따른 차이도 확인할 평가 절차의 필요성을 보여 준다.
관련 문서
LongBench / RULER / InfiniteBench / 검색 증강 생성 / HotpotQA / 언어 모델