패치를 그래프로 연결하기
이미지나 영상을 구성하는 패치를 완전 연결 그래프의 노드로 둔다. 각 패치 쌍의 간선에는 트랜스포머가 학습한 특징에 따른 유사도 점수를 부여한다. 픽셀 좌표의 가까움만으로 연결을 정하는 설명과 다르다.
두드러진 물체의 절단
두드러진 물체의 검출과 분할을 그래프 절단 문제로 정식화하고 고전적인 정규화 절단 알고리즘으로 푼다. 사전 학습 특징의 관계와 그래프 최적화를 연결하는 구성이다.
검출과 분할의 범위
비지도 물체 발견과 이미지의 현저성 검출, 영상 물체 분할을 평가한다. 물체 마스크를 얻는 것과 모든 의미 범주의 이름을 예측하는 과제는 다르다. 두드러진 영역이 사용자가 원하는 물체와 항상 같은 것은 아니다.
유사도와 객체의 독립 예
설명용으로 서로 떨어진 두 식물 영역의 특징이 비슷해도 실제로는 다른 화분일 수 있다. 특징의 유사성이 개별 물체의 동일성을 보장하지는 않는다. 실제 연구 그림을 옮기지 않은 그래프 묶음 해석의 예다.
관련 문서
LOST 물체 위치 추정 / 비전 트랜스포머 / 정규화 절단 / 자기 지도 학습 / 의미 분할 / PixPro