점군의 마스킹
점군은 불규칙한 위치와 고르지 않은 정보 밀도를 가질 수 있다. 입력을 패치로 나누고 일부를 가려 남은 정보에서 표현을 학습한다. 모든 패치가 같은 공간적 면적이나 동일한 정보량을 갖는다고 가정할 수는 없다.
인코더와 디코더
인코더는 보이는 패치에서 특징을 얻고 디코더는 가린 부분의 복원을 담당한다. 마스크 토큰을 옮기는 구성으로 위치 정보 누출 문제도 다룬다. 복원 문제를 풀 때 가린 정보가 우회해서 그대로 전달되면 유용한 표현을 배우기 어렵다는 점이 중요하다.
마스킹 수의 예
패치가 20개이고 75%를 가린다고 가정하면 15개를 가리고 5개를 남긴다. 비율이 커질수록 입력 정보가 줄지만 계산 비용 전체가 같은 비율로 줄어드는 것은 아니다. 실제 학습 비율을 제시한 수치가 아닌 설명용 계산이다.
복원과 후속 작업
사전 학습의 복원 품질과 분류나 분할로 옮긴 뒤의 성능은 다른 평가다. 가린 곳을 그럴듯하게 채우는 것과 실제 물체의 숨은 면을 정확히 알아내는 것도 구분해야 한다. 자료 중복과 입력 점 수, 후속 학습의 라벨 조건을 확인해 전이 효과를 평가한다.
관련 문서
Point-BERT / Point Transformer / PointNet / PointMLP / PointNeXt / 트랜스포머