답과 이유를 함께 판단하기
영상의 질문에 맞는 답을 고르는 것에 더해 그 답을 뒷받침하는 이유를 제시해야 한다. 물체의 범주를 알아보는 능력과 장면의 상황을 추론하는 능력을 구분해 다룬다.
선택형 자료의 구성
영화 장면에서 얻은 주석을 선택형 문제로 변환해 자료를 만들었다. Adversarial Matching을 사용해 정답과 오답의 표현 차이만으로 문제를 쉽게 푸는 편향을 줄이려 했다.
계층적 추론의 기준 모델
같은 연구의 R2C는 시각적 근거 연결, 문맥화, 추론의 계층적 과정을 모델링한다. 데이터셋과 함께 제안한 기준 방법으로 상식 추론의 여러 단계를 분석했다.
정확도의 해석
논문은 당시의 모델과 사람 사이에 큰 차이를 보고했다. 선택한 근거가 맞는지와 답이 맞는지는 함께 확인해야 하며, 선택형 근거를 고르는 결과가 모델 내부 추론의 진실성을 직접 증명하지는 않는다.
관련 문서
NLVR2 / GQA / ViLBERT / VisualBERT / 상식 추론 / 시각 질의응답