복원과 대조를 함께 다루기
점 구름 사전 학습에서 마스크 오토인코더는 중요한 접근이다. 하지만 여기에 기존 대조 학습을 단순히 결합한다고 항상 성능이 좋아지는 것은 아니다. Point-CMAE는 마스크 복원 안에 있는 대조적 성질을 활용하는 방향이다.
마스크로 만드는 두 입력
입력 토큰을 무작위로 두 번 가려 대조 입력 쌍을 만든다. 가중치를 공유하는 인코더와 구조가 같은 두 디코더가 마스크 토큰을 복원한다. 이미지 영역에서 흔히 쓰는 광범위한 자료 증강에만 의존하지 않는 구성이다.
공통으로 가린 특징의 일치
두 마스크가 모두 가린 입력 토큰에 대해 복원 특징이 가능한 한 비슷하도록 제약한다. 생성적 복원 과제에 명시적인 대조 조건을 넣는 셈이다. 특징이 일치하는 것과 실제 기하가 유일하게 복원되는 것은 다른 판단이다.
마스크 교집합의 독립 예
설명용으로 첫 마스크가 토큰 1과 3을, 두 번째가 3과 4를 가리면 공통 대상은 3이다. 실제 모형의 토큰 수나 마스킹 비율을 사용한 값이 아니다. 두 경로의 공통 복원 위치를 정하는 관계만 보여 준다.
관련 문서
Point-MAE / Point-BERT / Voxel-MAE / ULIP-2 / 대조 학습 / PointNet