찾기에서 놓기로의 전환
물체의 현재 위치를 찾는 지시 해석과 달리 새로운 물체를 어디에 놓아야 하는지 판단한다. 통제된 삼차원 탁상 장면에서 자연어 공간 관계가 지정하는 배치를 수행하는 문제다.
허용 영역을 평가하는 이유
같은 관계를 만족하는 위치가 여러 곳일 수 있다. 예측한 좌표가 유일한 정답 점과 같은지보다 지시한 관계를 만족하고 물리적으로 가능한지를 평가한다.
여러 단계의 지시 관계
직접 지시와 한 단계 또는 두 단계의 참조를 포함한다. 각 지시에는 검증한 자연스러운 재표현도 제공해 문장 표현이 달라졌을 때의 성능을 비교할 수 있다.
감독 방식과 관계별 차이
여러 삼차원 언어 모델과 PlaceIt3D를 평가하고 점 기반 및 영역 기반 감독을 비교했다. 관계 유형에 따라 성능이 달랐으며 최근접과 정렬 관계는 논문의 평가에서 특히 어려운 유형으로 나타났다.
관련 문서
CLEVR / ScanRefer / ReferIt3D / Multi3DRefer / 공간 추론 / 삼차원 장면 이해