정답을 맞히는 지름길 줄이기
질문 편향이 강하면 모델이 영상을 추론하지 않고도 답을 맞힐 수 있다. CLEVR는 이런 편향을 줄이고 질문이 요구하는 추론 종류를 상세히 주석해 능력을 진단하려 한다.
질문 의미의 프로그램 표현
질문을 자연어뿐 아니라 함수형 프로그램으로도 표현한다. 장면 그래프에는 물체의 위치와 속성, 관계가 포함돼 답을 내는 데 필요한 추론을 분석할 수 있다.
조합을 바꾼 일반화
같은 연구의 CoGenT는 색상과 형태의 조합 조건을 바꾸어 새로운 조합을 인식하는지 시험한다. 이미 본 속성을 안다는 것과 보지 못한 조합에서도 이를 활용하는지는 다른 능력이다.
진단 자료의 사용
속성 식별, 개수 세기, 비교, 공간 관계와 논리 연산 등으로 모델의 약점을 나누어 볼 수 있다. 이런 진단 결과가 실제 장면의 모든 변화에 대한 강건성을 보장하지는 않는다.