경계와 의미 판단의 차이
반지도 분할망은 경계를 잘 잡아도 외형이 비슷한 범주를 혼동할 수 있다. 시각 언어 모형은 다양한 의미 지식을 학습하지만 이미지 수준 학습만으로 정밀 분할이 보장되지 않는다. SemiVL은 두 방향의 장점을 연결하려 한다.
공간 추론으로의 적응
시각 언어 모형을 전체 이미지의 추론에서 지역 추론으로 옮기기 위해 주석 효율적인 공간 미세 조정 전략을 도입한다. 전체 이미지와 문장의 대응만 배우는 문제와 픽셀별 판단 문제를 구분한다.
정의를 이용한 범주 안내
언어 안내 디코더가 시각과 언어를 함께 추론한다. 범주 레이블에 내재한 모호함을 다루기 위해 범주 정의도 언어 안내로 제공한다. 정의가 있다고 경계의 위치까지 직접 알려 주는 것은 아니다.
의미 혼동의 독립 예
설명용으로 경계가 선명한 영역도 벽인지 울타리인지 혼동할 수 있다. 두 범주의 의미 기준은 언어가 보완할 수 있어도 실제 영역의 형상은 이미지에서 확인해야 한다. 실제 실험을 옮기지 않은 경계와 범주 결정의 예다.
관련 문서
CLIP / 반지도 학습 / 의미 분할 / ClassMix / MIC 도메인 적응 / DAFormer