서로 나뉜 관측의 연결
물체의 위치와 관계를 이해하는 데 필요한 정보가 여러 프레임에 나뉘어 있을 수 있다. MosaicThinker는 개별 프레임의 단편적인 정보를 하나의 공간 표현으로 구성하는 데 초점을 둔다.
반복적인 공간 표현 구성
여러 관측에서 얻은 공간 정보를 전역 의미 지도에 통합한다. 시간에 따라 나뉜 장면을 공통 표현으로 모아 프레임 사이의 관계를 추론할 기반을 만든다.
지도를 사용하는 시각 프롬프트
구성한 의미 지도를 시각 프롬프트로 제공해 영상 언어 모델의 추론을 유도한다. 입력 프레임을 길게 나열하는 것과 달리 통합된 공간 표현을 추론의 중심에 둔다.
장치 내 추론의 평가
자원이 제한된 체화 인공지능 장치에서 유형과 복잡도가 다른 교차 프레임 과제를 평가했다. 실제 적용에서는 공간 정보 통합의 정확도와 중간 지도 구성에 필요한 계산도 함께 고려해야 한다.
관련 문서
공간 추론 / VSR 공간 관계 평가 / VLMaps / 세계 모델 / Astra 시각 공간 추론 / AVIC 선택적 시각 상상