과제마다 다른 자료의 문제
개방형 질의응답과 사실 검증 및 슬롯 채우기와 개체 연결에는 외부 지식이 필요하다. 과제마다 별도 지식 자료와 기반 구조를 준비하면 일반적인 모델을 개발하고 비교하는 비용이 커질 수 있다.
같은 지식 스냅샷
모든 과제를 같은 시점의 위키백과에 연결한다. 검색과 색인 구성 요소를 재사용하고 과제에 종속되지 않는 기억 구조를 연구하기 위한 공통 조건을 제공한다.
응답과 근거의 동시 평가
최종 과제의 성능뿐 아니라 모델이 근거를 제공하는 능력도 평가한다. 맞는 응답을 생성했는가와 필요한 정보를 실제로 찾아 연결했는가를 함께 살피는 방식이다.
공통 밀집 색인의 활용
연구는 과제별 모델과 범용 기준 모델을 비교했다. 공유 밀집 벡터 색인과 시퀀스 변환 모델을 결합한 구성이 여러 과제에서 강한 기준 접근으로 나타났다고 보고했다.