정답 하나라는 전제의 확장
자연어 설명은 한 물체뿐 아니라 같은 조건을 만족하는 집단을 가리킬 수 있다. 장면에 설명과 맞는 물체가 전혀 없을 수도 있어 Multi3DRefer는 대상 수를 유연하게 다룬다.
자료와 평가 방식
ScanRefer의 자료와 과제를 일반화하고 여러 물체를 다룰 수 있는 평가 지표를 제안했다. 한 후보를 고르는 정확도만으로는 대상의 누락과 불필요한 추가 선택을 충분히 평가하기 어렵다.
CLIP 특징을 쓰는 기초 모델
삼차원 물체 제안을 학습 중 렌더링해 CLIP의 이차원 특징을 활용하는 기준 모델을 구성했다. 대조 학습을 결합해 언어와 물체의 시각적 정보를 연결한다.
수량 조건에 따른 해석
대상이 없는 경우를 거부하는 능력과 여러 정답을 모두 찾는 능력은 다른 오류 양상을 만든다. 평가할 때 대상 수와 방해 후보의 유무를 구분하면 전체 점수에 가려진 차이를 더 잘 볼 수 있다.