단일 정보 찾기의 한계
긴 방해 문맥에서 하나의 정보를 찾는 시험은 유용하지만 문맥 이해의 일부만 측정한다. RULER는 찾아야 할 정보의 종류와 개수를 바꾸는 변형을 제시했다.
길이와 복잡도 조절
입력 시퀀스 길이와 과제의 복잡도를 원하는 조건에 맞춰 설정할 수 있다. 같은 모델도 길이나 필요한 정보 처리 방식에 따라 다른 결과를 낼 수 있다.
검색 이후의 처리
문맥 안의 관계를 여러 단계로 따라가거나 정보를 모아 집계하는 과제를 추가했다. 특정 값 하나를 찾아내는 능력과 정보를 연결해 처리하는 능력을 나눠 평가한다.
명시된 길이와 실제 성능
초기 연구는 17개 모델을 13개 대표 과제에서 비교했다. 모델이 지원한다고 표시한 문맥 길이와 그 길이에서 충분한 과제 성능을 유지하는지는 별개라는 점을 분석했다.