정확도와 강건성의 긴장
특정 목표 자료에서 미세 조정하면 그 자료의 정확도는 좋아져도 분포가 바뀔 때의 강건성이 줄어들 수 있다. WiSE-FT는 두 성질을 함께 유지하는 문제를 다룬다.
출력이 아닌 가중치의 결합
원래 제로샷 모델과 미세 조정 결과의 가중치를 앙상블한다. 여러 모델의 추론 출력을 각각 계산해 섞는 방식과는 결합 위치가 다르다.
분포가 달라진 평가
논문은 ImageNet과 그 변형 분포를 포함해 다양한 자료에서 결과를 비교했다. 원래 목표 분포의 성능과 분포 변화 아래의 성능을 따로 측정하는 것이 핵심이다.
비용과 적용 범위
연구는 일반 미세 조정에 비해 추가적인 학습·추론 계산 없이 개선하는 결과를 보고했다. 이는 호환되는 모델의 가중치를 결합하는 구성에 관한 것이며 서로 다른 구조를 임의로 섞는 일반 규칙은 아니다.
관련 문서
LiT 잠금 영상 조정 / CLIP-Adapter / TaskRes / CLIP / 앙상블 학습 / 분포 이동