장면 중심 자료의 군집
단일 물체 중심의 정돈된 영상과 달리 실제 장면에는 여러 의미 범주가 함께 있다. PiCIE는 이미지 군집을 픽셀로 확장해 한 영상 안의 서로 다른 부분에 개별 군집 소속을 부여한다.
유사도만 사용하는 한계
픽셀 특징의 유사도에만 기대면 저수준 시각 단서에 과적합하고 고수준 의미 개념을 배우지 못할 수 있다. PiCIE는 기하 일관성을 귀납 편향으로 넣어 광도 및 기하 변화의 관계를 학습한다.
불변성과 등변성
색과 밝기가 달라져도 의미를 유지하는 불변성과 위치가 바뀌면 출력 위치도 따라 바뀌는 등변성을 구분한다. 연구는 물체 범주와 배경 성격의 범주를 모두 다루는 비지도 분할을 평가한다.
변환 관계의 독립 예
설명용으로 이미지 전체를 오른쪽으로 두 칸 옮기면 물체의 분할 위치도 두 칸 옮겨져야 한다. 밝기만 바꿨을 때 분할 위치가 움직이는 것은 같은 관계가 아니다. 실제 연구 실험을 옮기지 않은 불변성과 등변성의 예다.
관련 문서
STEGO / MaskDistill 물체 마스크 / 의미 분할 / 자기 지도 학습 / 등변 신경망 / TokenCut