토큰의 과도한 평활화
트랜스포머는 전역 정보를 활용하지만 마지막 패치 토큰들이 지나치게 비슷해질 수 있다. ToCo는 이러한 현상이 클래스 활성화 지도의 구분 능력에 미치는 문제를 다룬다.
패치 토큰의 대조
중간 층에는 의미적 다양성이 남아 있다는 관찰을 이용한다. 중간 층에서 얻은 의사 토큰 관계로 마지막 패치 토큰을 감독해 의미 영역에 맞도록 학습한다.
범주 토큰의 대조
신뢰도가 낮은 국소 영역과 전역 객체의 범주 토큰을 대조한다. 높은 수준의 의미 정보를 활용해 두 표현의 일관성을 강화하고 모호한 영역을 더 구분하려 한다.
분할 평가
PASCAL VOC와 MS COCO에서 단일 단계 및 다단계 방법과 비교했다. 토큰 대조가 약한 감독 분할의 활성화 지도와 최종 결과에 미치는 효과를 조사했다.
관련 문서
MCTformer / AFA 약한 감독 분할 / SEAM / Puzzle-CAM / ReCAM / CLIMS