짧은 정답에서 긴 설명으로
단편 사실 질문의 성능이 좋아져도 깊이 있는 긴 응답으로 바로 이어지는 것은 아니다. ASQA는 자료의 품질과 답변 품질의 명확한 기준이라는 두 문제를 함께 다뤘다.
여러 해석을 한 답변에 담기
같은 질문이 서로 다른 올바른 답을 가질 때 여러 자료의 사실 정보를 종합한다. 긴 답변은 해석 차이를 드러내고 각각에 필요한 정보를 제공해야 한다.
독자가 답할 수 있는지 확인하기
좋은 요약을 읽은 사용자가 원래 질문의 여러 해석에 답할 수 있어야 한다는 기준을 둔다. 연구는 이 기준에 기반한 자동 평가 지표를 제안했다.
평가 자료와 사람 판단
공개 자료에는 긴 답변과 함께 그 답변에서 해결할 수 있어야 하는 질문과 답변 쌍이 포함된다. 초기 분석은 자동 지표와 사람 판단의 일치 및 기준 모델과 사람 성능의 차이를 살폈다.