범주별 위치의 구분
일반적인 비전 트랜스포머의 단일 범주 토큰에서 얻는 어텐션은 범주를 구분하지 않는 위치 지도로 활용될 수 있다. MCTformer는 여러 범주를 구별하는 어텐션을 학습하려 한다.
범주와 패치의 상호작용
여러 범주 토큰이 이미지 패치 토큰과 상호작용하도록 구성한다. 각 범주 토큰의 패치에 대한 어텐션을 이용해 해당 범주의 위치 지도를 만든다.
패치 사이의 관계
패치와 패치 사이의 트랜스포머 어텐션에서 쌍별 친화도를 추출한다. 이 관계로 위치 지도를 더 정제해 의사 레이블을 보완한다.
활성화 지도와의 결합
기존 클래스 활성화 지도와 보완적으로 결합하는 구성을 조사했다. PASCAL VOC와 MS COCO에서 약한 감독 의미 분할을 평가하며 범주 토큰의 역할을 분석했다.
관련 문서
AFA 약한 감독 분할 / ReCAM / SEAM / Puzzle-CAM / AffinityNet / IRNet 약한 감독 분할