객체와 배경의 혼동
클래스 활성화 지도는 객체의 일부만 찾거나 객체와 자주 함께 보이는 배경을 포함할 수 있다. 고정된 이미지 범주 레이블만으로 다양한 배경을 억제하기 어려운 문제가 있다.
자연어 감독의 활용
CLIMS는 자연어 정보를 추가적인 감독으로 도입한다. 객체 영역과 배경 영역, 텍스트 레이블 사이의 대응 손실로 범주별 활성화 지도를 학습한다.
동시 출현 배경의 억제
범주와 관련된 배경의 텍스트 설명을 미리 정해 사용한다. 동시 출현 배경 억제 손실은 객체와 밀접하지만 실제 객체에 속하지 않는 영역이 활성화되는 것을 줄이려 한다.
활성화 지도의 평가
더 완전하면서 불필요한 배경은 적은 객체 지도를 만드는 것이 목적이다. PASCAL VOC 2012에서 구성 요소와 약한 감독 의미 분할 결과를 평가했다.
관련 문서
ToCo / MCTformer / ReCAM / SEAM / AffinityNet / AFA 약한 감독 분할