같은 문장의 여러 이미지
StableRep는 한 문장으로 만든 여러 이미지를 서로 양성 예제로 취급한다. 서로 다른 시각적 결과가 같은 설명을 공유하는 관계를 이용해 표현을 학습한다.
문장 합성까지 확장하기
SynCLR는 대형 언어 모형으로 이미지 설명을 만든 뒤 각 설명에 여러 이미지를 생성한다. 표현 학습에 직접 사용하는 문장과 이미지를 모두 합성하는 구성이며, 생성 모형 자체의 사전 학습 자료와는 구분된다.
학습 설정과 전이 평가
StableRep는 분류기 없는 안내 강도와 언어 감독의 영향을 조사했다. SynCLR는 이미지 분류와 의미 분할 같은 하위 과제로의 전이를 평가해 합성 자료에서 배운 표현의 활용 범위를 살폈다.
관련 문서
분류기 없는 확산 안내 / 잠재 확산 모형 / SimCLR / CLIP / DINOv2 / 표현 학습