위키득계정 ↗
기술

StarFT

StarFT기술
발표
2025년
전체 이름
Spurious Textual Alignment Regularization
목표
허위 상관에 대한 의존 억제
활용 신호
교란 특징을 강조한 텍스트
StarFT는 영상 언어 모델의 미세 조정 과정에서 배경이나 질감 같은 우연한 단서에 대한 의존이 커지는 것을 억제하는 방법이다. 혼동을 유발할 수 있는 특징을 넣은 텍스트 설명으로 규제 신호를 구성한다.

범주보다 쉬운 단서

대상을 분류할 때 배경이나 표면 질감이 학습 자료에서 정답과 자주 함께 나타날 수 있다. 작은 후속 자료로 모델을 조정하면 이런 관계를 더 강하게 학습해 분포가 달라진 입력에서 오류가 늘어날 수 있다.

설명 문장에 교란 특징 넣기

언어 모델로 잠재적 혼동 요인을 강조한 대체 설명을 생성한다. 단순히 정답 범주 이름만 제공하는 대신 관련 없는 시각적 특징이 섞인 설명을 만들어 모델의 반응을 살핀다.

원래 출력과의 정렬

교란 특징을 넣은 표지 설명에 대한 출력 분포가 원래 제로샷 모델과 맞도록 규제한다. 미세 조정 중 불필요한 특징을 추가로 추출하는 방향을 억제하려는 설계다.

평균과 집단별 성능

논문은 여러 일반화 실험과 Waterbirds의 집단 변화 설정을 평가했다. 평균 정확도뿐 아니라 가장 낮은 성능을 보이는 집단도 확인하며, 특정 실험의 개선을 모든 배경 변화에 대한 해결로 해석하지 않는다.

관련 문서

CLIP / Lipsum-FT / 허위 상관 / 미세 조정 / 분포 변화 / 제로샷 학습