화소 대응만의 어려움
대상과 비슷한 색이나 무늬를 가진 물체가 나타나면 화소 특징의 대응이 잘못될 수 있다. Cutie는 객체 전체를 요약하는 질의를 메모리 읽기에 사용한다. 세밀한 위치 정보는 고해상도 특징에서 유지하면서 대상 수준의 단서도 함께 활용한다.
두 수준의 정보 교환
객체 질의는 화소 특징과 반복적으로 상호작용한다. 전경과 배경을 구분하는 마스크 주의도 사용해 대상의 의미와 배경 정보를 나누어 다룬다. 객체 수준 표현을 쓴다고 화소별 영역 계산이나 경계 정보가 없어지는 것은 아니다.
색만으로 구분하기 어려운 예
설명용으로 같은 파란색의 가방과 의자가 겹친 장면을 생각하자. 작은 영역의 색은 비슷해도 물체의 윤곽과 다른 부분의 관계는 다를 수 있다. 국소 대응과 전체 대상 정보를 함께 쓰는 이유를 보여주지만 모델이 항상 두 물체를 구분한다는 보장은 아니다.
분할 품질의 평가
가림과 재등장, 비슷한 외형의 방해 물체를 나누어 확인해야 한다. 전체 영역이 겹치는 정도와 얇은 경계의 정확도도 다른 지표다. 비교할 때 초기 대상 지정, 영상 길이와 해상도를 맞추고 메모리 갱신 및 객체 질의 처리의 비용도 포함한다.
관련 문서
XMem / STCN / AOT 영상 객체 분할 / DeAOT / 비국소 신경망 / 트랜스포머