한 장면 밖의 관계
팽창 합성곱이나 주의 모듈로 한 영상 안의 문맥을 모을 수 있어도 서로 다른 영상의 픽셀 관계까지 직접 학습한 것은 아니다. 이미지 간 픽셀 대조는 자료 전체에 걸친 의미 관계를 학습의 대상으로 삼는다.
픽셀 임베딩의 거리
같은 의미 범주의 픽셀 임베딩은 다른 범주의 임베딩보다 더 비슷하도록 강제한다. 주석 픽셀의 구조를 활용하는 픽셀 단위 거리 학습이다. 같은 범주의 픽셀을 같은 색으로 바꾸는 영상 편집과는 다르다.
추론 단계와의 구별
기존 분할 프레임워크에 학습 기준을 결합하며 시험 시 추가 부담을 더하지 않는 접근으로 제안됐다. 학습에서 여러 이미지의 관계를 사용한다는 사실이 추론 때도 별도 이미지 자료를 함께 입력한다는 뜻은 아니다.
다른 외형의 독립 예
설명용으로 햇빛 아래의 풀과 그늘 속의 풀은 색과 밝기가 달라도 같은 의미 범주일 수 있다. 픽셀값이 가까운 것과 의미 특징이 가까운 것은 다르다. 실제 연구 이미지를 옮기지 않은 범주 관계의 예다.
관련 문서
ReCo 분할 학습 / 대조 학습 / 의미 분할 / HRNet / DAFormer / ProDA 도메인 적응