프레임 사이의 대응
같은 물체는 영상에서 위치와 외형이 달라진다. STCN은 현재 프레임의 특징을 과거에 저장한 특징과 연결해 대상의 영역을 추정한다. 한 프레임에서 객체가 있다는 것만 판별하는 분류와 달리 화소 수준의 영역을 다룬다.
공통 대응 관계 활용
프레임 사이의 대응을 구축할 때 각 객체의 마스크를 매번 다시 인코딩하는 부담을 줄이는 구성을 사용한다. 여러 객체를 다룰 때 공통 대응을 활용하는 부분과 객체별 영역 정보를 처리하는 부분은 구분된다. 객체의 구분 자체가 불필요해진다는 뜻은 아니다.
거리와 내적의 차이
설명용으로 질의 특징이 1이고 후보가 2와 10이면 내적은 각각 2와 10이다. 반면 음의 제곱 거리는 −1과 −81이다. 큰 내적을 고르는 것과 가까운 거리를 고르는 것이 다를 수 있다. 실제 특징은 다차원이며 이것은 유사도 차이를 보여주는 예다.
메모리와 오류 전파
과거 특징을 다양하게 활용해도 잘못된 대응이 사라지는 것은 아니다. 비슷한 외형의 다른 물체나 가림 뒤 재등장을 별도로 확인해야 한다. 객체 수, 저장 프레임 수 및 입력 해상도를 맞춰 분할 정확도와 메모리 및 실행 비용을 함께 비교한다.
관련 문서
XMem / 광류 / RAFT 광류 추정 / SuperGlue / 비국소 신경망 / 합성곱 신경망