영상 표현에 깊이를 반영하기
일반적인 2차원 백본은 색상 영상에서 특징을 학습한다. 이 방법은 기존의 RGB-D 자료를 활용해 깊이와 구조에 관한 정보를 학습된 영상 특징에 포함하려 한다.
한 프레임에서 만드는 과제
개별 RGB-D 프레임에서 색상과 깊이 패치를 가리고 복원하는 과제를 구성한다. 3차원 재구성이나 여러 시점의 대응 관계가 필요한 대조 학습과 다른 방식으로 감독 신호를 만든다.
장면 이해에 활용하기
사전 학습한 비전 트랜스포머의 표현을 의미 분할, 인스턴스 분할, 물체 탐지 같은 후속 과제에서 평가한다. 복원 점수 자체보다 후속 장면 이해에 구조 정보가 도움이 되는지가 목적이다.
동명 연구와의 구분
여기서의 Mask3D는 2차원 백본을 사전 학습하는 연구다. 점군의 물체 마스크를 직접 예측하는 동명의 인스턴스 분할 모델과는 다르며, 논문은 ScanNet, NYUv2, Cityscapes의 영상 이해 과제로 결과를 제시했다.
관련 문서
Mask3D 인스턴스 분할 / ScanNet / 자기 지도 학습 / 비전 트랜스포머 / 깊이 추정 / 인스턴스 분할