패치에서 의미 영역으로
영상의 패치를 학습 가능한 중심 주변으로 모아 의미가 비슷한 영역을 만든다. 학습 중 동적으로 포착한 의미 그룹을 최종 분할 결과에 활용한다.
영상과 텍스트의 감독
영상 텍스트 쌍을 학습 자료로 사용한다. 분할용 사람 주석 없이 학습한다는 설명과 텍스트 감독이나 자동 생성 표지도 없다는 설명은 서로 다르다.
표현을 보완하는 손실
가린 패치의 복원 손실과 의사 표지를 사용하는 슈퍼픽셀 기반 KL 손실을 추가한다. 패치 집계뿐 아니라 이런 보조 목적도 시각 표현 학습에 포함된다.
평가 자료
논문은 PASCAL VOC 2012, PASCAL Context, COCO에서 기준 모델과 비교했다. 분할 주석의 사용 여부와 자동 학습 신호의 종류를 구분해 감독 수준을 판단해야 한다.
관련 문서
GroupViT / CLIP / 비전 트랜스포머 / 영상 분할 / 슈퍼픽셀 / 쿨백 라이블러 발산