3차원 구조를 영상 특징에
같은 장면을 여러 방향에서 본 자료는 색상 영상 하나보다 구조 관계를 더 명확하게 드러낼 수 있다. Pri3D는 이러한 기하 정보를 영상 백본의 사전 학습에 사용한다.
두 종류의 제약
여러 시점 사이의 영상 제약과 영상과 기하 사이의 제약을 함께 대조 학습에 넣는다. 이를 통해 시점 변화에 덜 민감하면서 구조를 반영하는 표현을 얻으려 한다.
사전 학습과 후속 과제
학습된 표현은 2차원 영상의 의미 분할, 인스턴스 분할, 물체 탐지로 전이한다. 3차원 자료는 사전 학습의 근거이며 후속 과제의 출력이 반드시 3차원이어야 하는 것은 아니다.
자료가 적은 설정
연구는 실제 실내 자료에서 전체 학습 자료와 일부만 사용하는 설정을 비교했다. 적은 자료에서도 개선을 보고했지만, 그 효과는 사용한 사전 학습 자료와 후속 과제의 조건을 함께 봐야 한다.
관련 문서
Mask3D 사전 학습 / ScanNet / 대조 학습 / 자기 지도 학습 / 인스턴스 분할 / 표현 학습