여러 시점을 함께 보는 질문
가까운 물체를 한 시점에서 확인하는 것만으로는 장면의 넓은 범위 관계를 이해하기 어렵다. MV-ScanQA는 질문의 약 68%가 여러 보기의 정보 통합을 명시적으로 요구하도록 구성했다.
물체 집합과 텍스트의 연결
TripAlign의 각 항목은 이차원 보기와 삼차원 물체들의 집합, 텍스트로 이루어진다. 한 물체와 문장의 대응을 넘어 문맥상 연결된 여러 물체를 같은 보기 및 설명과 정렬한다.
이차원 모델의 지식 전이
기초 방법 LEGO는 TripAlign으로 사전 학습해 이차원 영상 언어 모델의 지식을 삼차원 영역에 전달한다. 여러 보기와 물체 집합의 대응을 학습해 다중 시점 추론의 기반으로 사용한다.
질문 응답과 설명 평가
제안한 MV-ScanQA와 기존 삼차원 밀집 설명 및 질문 응답 과제에서 결과를 비교했다. 여러 시점의 정보가 필요한 질문인지와 실제 입력이 제공하는 범위를 함께 확인해야 평가를 해석할 수 있다.
관련 문서
ScanQA / ScanRefer / ReferIt3D / ScanEnts3D / MSR3D와 MSQA / 공간 추론