층마다 다른 변화 허용량
모든 층을 똑같이 조정하거나 학습률을 수작업으로 고르는 대신 층별 변화 범위를 학습한다. 사전 학습 모델의 표현을 유지하면서 새 과제에 필요한 변화는 허용하는 문제다.
투영 반경의 의미
각 층에서 조정된 가중치와 사전 학습 가중치 사이의 거리에 상한을 둔다. 투영 연산은 가중치가 이 제한을 만족하도록 옮기는 역할을 하며, 반경은 허용하는 이동 범위를 나타낸다.
제약 자체의 최적화
모델 가중치를 학습하는 과정과 투영 반경을 학습하는 과정을 이중 수준 최적화로 구성한다. 어느 층을 더 강하게 묶을지 규칙으로 고정하기보다 자료에서 제약을 조정한다.
강건성 평가의 해석
DomainNet과 ImageNet 실험에서 원래 분포의 정확도와 변화된 분포의 정확도를 함께 비교했다. 거리 제한과 성능의 관계는 사전 학습 모델 및 과제에 따라 달라지므로 반경이 작을수록 항상 좋다고 볼 수 없다.