좋은 특징과 좋은 군집의 차이
픽셀 특징에 의미 정보가 담겨 있어도 각 범주를 명확한 군집으로 나누기 쉬운 것은 아니다. STEGO는 특징을 학습하는 과정과 군집을 조밀하게 만드는 과정을 분리해 비지도 의미 분할을 다룬다.
이미 있는 특징의 관계 활용
연구는 비지도 학습 표현의 조밀 특징 상관관계가 의미적으로 일관될 수 있다는 관찰에서 출발한다. 이 특징을 고품질의 이산 의미 레이블로 증류하는 틀을 제안한다. 모든 상관관계가 실제 범주 경계와 같다는 뜻은 아니다.
관계를 유지하는 조밀화
핵심 대조 손실은 자료 전체에 걸친 특징 관계를 보존하면서 조밀한 군집을 형성하도록 장려한다. 모든 특징을 하나로 모으는 것이 아니라 의미 관계를 유지한 구별을 목표로 한다.
군집과 이름의 독립 예
설명용으로 잔디 픽셀들이 한 군집을 이뤄도 군집 번호 자체가 잔디라는 이름은 아니다. 비지도 묶음의 발견과 사람이 사용하는 범주 이름의 대응은 구분해야 한다. 실제 연구 이미지를 옮기지 않은 군집 해석의 예다.
관련 문서
TokenCut / LOST 물체 위치 추정 / DenseCL / 자기 지도 학습 / 의미 분할 / ReCo 분할 학습