자연스럽게 나온 질문
특정한 종류의 질문을 만들도록 시킨 상황이 아니라 제약 없이 나온 질문을 모았다. 질문 형식이 이진 답변이라고 해서 필요한 이해까지 단순하다고 가정하지 않는다.
짧은 답과 복잡한 이해
질문은 단일 사실을 찾는 수준을 넘어 복잡한 정보를 요구하기도 한다. 지문의 내용으로 질문의 참과 거짓을 판단하려면 함의 관계와 비슷한 추론이 필요하다.
전이 자료의 선택
소개 연구는 의역 자료나 답 구간 추출 자료보다 함의 자료에서 전이하는 방식이 더 효과적이라고 분석했다. 대규모 사전 학습 언어 모델을 출발점으로 삼아도 추가 이점이 나타났다.
초기 BERT 실험
당시 가장 좋은 방법은 BERT를 MultiNLI에서 먼저 학습한 뒤 BoolQ 학습 자료로 다시 학습하는 방식이었다. 논문은 이 방법과 사람의 평가 결과 사이에 남은 차이도 제시했다.