목표 표현 선택의 재검토
마스크 복원에서는 어떤 표현을 목표로 삼을지가 중요한 설계 문제다. 원 연구는 여러 교사로 증류한 학생이 다단계 학습을 거치며 비슷한 특성을 보이는지 비교했다.
교사 갱신과 학생 초기화
각 단계에서 마스크 지식 증류를 수행한다. 이후 학습된 학생을 다음 교사로 삼고 새로 초기화한 학생을 학습시키는 과정을 반복해 처음부터 정교한 교사를 준비하는 부담을 줄인다.
규모와 전이 성능
분류와 전이 학습 및 탐지와 의미 분할에서 평가했다. 더 큰 교사를 사용하는 설정도 조사했으며, 목표 표현의 영향이 작다는 관찰은 연구에서 비교한 학습 조건에 관한 결과다.
관련 문서
BootMAE / 마스크드 오토인코더 / CAE 문맥 오토인코더 / BEiT / iBOT / 지식 증류