표현이 다른 실내 도면
같은 공간도 벡터 도면과 렌더링 영상, 센서에서 만든 밀도 지도에서 다른 모습으로 나타난다. MMFE는 이런 이차원 실내 표현을 공유된 밀집 잠재 격자에 대응시킨다.
셀 단위의 대조 정렬
고정된 DINOv3 특징 추출기와 학습 가능한 DPT 헤드를 결합한다. 격자의 셀마다 공간적으로 대응하는 영역을 양성으로, 다른 셀을 음성으로 사용해 InfoNCE 목적을 학습한다.
기하 변형의 일관성
통제한 유사 변환을 학습에 포함하고 특징 격자를 워핑해 기하적 일관성을 유도한다. 모달리티가 달라져도 공간의 대응 관계가 유지되는 표현을 얻으려는 구성이다.
정합과 검색의 평가
학습과 분리한 외부 영역 자료인 Structured3D에서 밀집 대응과 검색을 평가했다. RANSAC을 이용한 유사 변환 정합 및 학습된 집계기를 결합한 검색도 비교했다.
관련 문서
Structured3D / RoomFormer / DINOv3 / InfoNCE / RANSAC / 기하 정합