같은 종류의 후보 구별
장면에 같은 세부 범주의 물체가 여러 개 있으면 이름만으로 대상을 지정하기 어렵다. 주변 물체와의 관계나 구별되는 속성이 담긴 지시 표현을 이해해야 한다.
상보적인 두 자료
Sr3D는 공간 관계를 활용한 문장 틀 기반 발화이고 Nr3D는 두 사람이 하는 물체 지시 게임에서 수집한 자유 형식 발화다. 통제한 관계 표현과 자연스러운 설명을 각각 다룬다.
언어와 점군을 듣는 모델
신경 청자 모델은 물체 중심 언어와 삼차원 기하 정보를 결합해 대상을 선택한다. 연구는 물체 간 정보를 전달하는 그래프 신경망 구조가 문맥을 고려하지 않는 방법보다 유리한지 비교했다.
문맥과 세부 범주의 영향
주변 후보의 수나 시점 의존 여부에 따라 지시 해석의 난도가 달라질 수 있다. 세부 물체 분류도 언어 기반 식별의 병목으로 관찰되어 관계 추론과 범주 인식을 함께 살펴야 한다.
관련 문서
ScanRefer / ScanNet / ReferItGame / 그래프 신경망 / 점군 / 공간 추론