추가 학습의 상충 관계
특정 자료로 학습하면 그 자료의 분류 성능은 좋아져도 다른 분포의 입력에서 기존 성능을 잃을 수 있다. Lipsum-FT는 영상과 언어 사이의 사전 학습된 연결이 바뀌는 현상에 주목한다.
무작위 텍스트를 사용하는 이유
사전 학습 모델의 어휘에서 무작위로 구성한 텍스트를 언어 인코더에 넣는다. 반드시 실제 범주를 설명하는 문장만 사용하지 않고 다양한 텍스트 방향에서 영상 표현의 변화를 살핀다.
기존 모델과의 점수 차이
분류용 교차 엔트로피에 추가 규제 항을 결합한다. 같은 영상과 무작위 텍스트의 내적 점수가 원래 제로샷 모델과 크게 달라지지 않도록 맞추며, 이를 에너지 차이를 줄이는 관점으로 설명한다.
강건성의 확인 범위
DomainNet과 ImageNet의 분포 변화 실험에서 정확도와 불확실성 지표를 비교했다. 모든 분포에서 원래 제로샷 모델보다 좋아지는 보장은 아니며, 기준 과제와 변화된 과제의 결과를 함께 봐야 한다.