장면 안의 여러 대상 설명
밀집 설명은 장면 전체를 한 문장으로 요약하기보다 개별 물체의 위치와 설명을 연결한다. Scan2Cap은 RGB-D 센서의 삼차원 스캔에서 이런 대상별 설명을 생성하는 과제를 다룬다.
물체 관계의 학습
메시지 전달 그래프 모듈로 물체 특징과 상대 공간 관계의 특징을 학습한다. 대상 자체의 외형뿐 아니라 주변 구성 요소와의 연결이 설명에 반영되도록 한다.
문맥을 참조하는 문장 생성
어텐션 기법으로 지역 문맥의 관련 요소를 참조하면서 설명 토큰을 생성한다. 검출과 언어 생성을 끝에서 끝까지 학습하는 구조로 물체 위치와 설명을 함께 구한다.
위치와 언어의 공동 평가
ScanRefer 자료의 장면에서 물체를 찾고 설명하는 결과를 비교했다. 설명의 언어적 유사도와 예측한 물체 위치의 정확성을 함께 고려해야 삼차원 밀집 설명의 성능을 해석할 수 있다.
관련 문서
ScanRefer / ScanQA / 3D-VisTA / 3D-SceneQ / 그래프 신경망 / 영상 설명 생성