의미와 시점의 두 문제
물체의 세부 의미를 이해하는 것과 특정 방향에서 공간 관계를 해석하는 것은 서로 보완적인 문제다. GuideGround는 영상 언어 모델의 개방 어휘 이해와 전체 장면 지각을 이 두 과정에 활용한다.
닫힌 범주 대신 물체 설명
보조적인 닫힌 범주 분류 과제를 영상 언어 모델이 만든 의미 설명으로 대체한다. 정해진 범주 이름에만 제한되지 않는 물체 정보를 과제 전용 모델의 의미 이해에 제공한다.
시점마다 가설을 유지
여러 시점의 특징을 바로 합치는 대신 각 시점에서 목표 물체를 찾는 가설을 따로 보존한다. 영상 언어 모델로 후보 시점의 가설을 명시적으로 검증해 관점별 근거를 살린다.
보완 효과의 평가
ReferIt3D에서 기존 방법과 비교하고 의미 정보 및 시점 추론 요소를 각각 제거하는 실험도 진행했다. 영상 언어 모델은 과제 전용 위치 추정기를 보완하며 전체 문제를 단독으로 대신하는 구성은 아니다.
관련 문서
ReferIt3D / ScanRefer / ScanEnts3D / VSR 공간 관계 평가 / 공간 추론 / 영상 언어 모델