영상 경로를 통한 공격
다중 모달 모델은 텍스트뿐 아니라 조작된 영상 때문에 잘못된 출력을 낼 수 있다. Robust CLIP은 이런 취약성을 모델 전체보다 먼저 영상 특징을 만드는 인코더 수준에서 다룬다.
특징 추출기의 강화
CLIP 영상 임베딩에 비지도 적대적 미세 조정을 적용한다. 비지도라는 말은 후속 과제의 정답 표지 없이 조정한다는 학습 설정을 가리키며, 사전 학습 모델이나 입력 자료가 필요 없다는 뜻은 아니다.
후속 모델의 인코더 교체
기존 CLIP 영상 인코더를 강화한 인코더로 바꾸는 방식을 평가했다. 실험 설정에서는 후속 영상 언어 모델을 다시 학습하거나 미세 조정하지 않고 인코더의 강건성을 활용했다.
결과와 보장의 구분
LLaVA와 OpenFlamingo 같은 모델 및 제로샷 분류에서 공격 저항을 시험했다. 논문에서 방어한 공격 조건과 전혀 다른 조작 또는 모든 악의적 입력에 대한 안전 보장은 구분해야 한다.