전역 정보의 활용
국소 특징만으로 얻은 초기 의사 레이블은 객체 일부를 놓칠 수 있다. 연구는 전역 정보를 결합하는 트랜스포머로 더 완전한 초기 레이블을 만들도록 제안했다.
어텐션에서 친화도 학습
AFA 모듈은 다중 헤드 자기 어텐션과 의미 친화도의 관계를 이용한다. 학습한 친화도로 초기 의사 레이블을 정제해 분할 학습에 활용한다.
국소적인 정제
픽셀 적응형 정제 모듈은 저수준 영상 외형 정보를 반영한다. 의사 레이블의 국소 일관성을 확보하고 AFA를 감독할 신뢰할 수 있는 친화도 레이블을 얻도록 한다.
종단간 분할의 평가
PASCAL VOC 2012와 MS COCO 2014에서 결과를 비교했다. 종단간 방법 및 다단계 방법을 기준으로 어텐션 기반 친화도 학습의 효과를 조사했다.
관련 문서
MCTformer / AffinityNet / IRNet 약한 감독 분할 / SEAM / ReCAM / Puzzle-CAM