점 패치를 토큰으로
전체 점군을 여러 국소 패치로 나누고 토크나이저로 각 패치의 정보를 이산 토큰으로 나타낸다. 토큰은 언어의 단어와 같은 의미를 그대로 갖는 것이 아니라 점군의 국소 표현이다. 학습한 토큰화 방식이 예측 목표를 정한다.
가린 위치를 예측하기
입력 패치 일부를 무작위로 가리고 나머지 정보를 활용해 원래 토큰을 예측한다. 사람의 물체 범주 라벨 없이 표현을 배울 수 있지만 토크나이저가 만든 감독 목표는 존재한다. 자기 감독이라는 표현을 아무 학습 정보도 없다는 뜻으로 해석하면 안 된다.
이산 예측의 예
한 패치의 목표 토큰이 7이고 모델이 토큰 7과 12에 각각 확률 0.8과 0.2를 준다고 하자. 이 과제는 토큰의 범주를 예측하는 것이며 7과 12의 숫자 차이 5가 실제 공간 거리라는 뜻은 아니다.
전이와 보완의 차이
사전 학습한 표현을 물체 분류 등 다른 작업에 옮길 수 있다. 가린 부분을 예측하는 데 성공했다고 실제로 관측되지 않은 표면의 정답을 알아낸 것은 아니다. 사전 학습 자료와 후속 라벨 수, 점 샘플링 및 센서 환경을 구분해 평가한다.
관련 문서
Point-MAE / Point Transformer / PointNet / PointMLP / PointNeXt / 트랜스포머