입력과 출력의 확장
일반적인 영상 복원에 머무르지 않고 RGB 이외의 정보를 입력에 포함할 수 있다. 학습 목표도 RGB 복원 하나가 아니라 여러 종류의 출력을 예측하는 형태로 확장한다.
모달 사이를 예측하기
영상 패치뿐 아니라 입력 모달에 걸쳐 마스킹을 적용한다. 남은 정보로 가린 정보를 복원하게 해 서로 다른 모달 사이의 예측 관계를 학습한다.
의사 표지를 사용하는 이유
모든 영상에 여러 모달과 과제의 정답이 붙은 자료를 요구하지 않도록 의사 표지로 학습 자료를 구성한다. 이는 사람이 모든 정답을 직접 주석해야 한다는 요구를 줄이지만, 표지를 만드는 모델의 영향까지 없애지는 않는다.
전이 시의 입력 구성
사전 학습한 같은 네트워크를 RGB만 있거나 추가 정보도 있는 설정에 활용한다. 논문은 영상 분류, 의미 분할, 깊이 추정으로 전이를 평가했으며 입력 구성별 결과를 구분해 제시했다.
관련 문서
Mask3D 사전 학습 / Pri3D / 자기 지도 학습 / 오토인코더 / 의사 라벨링 / 깊이 추정