긴 영상의 저장 부담
과거 프레임 정보를 계속 모두 쌓으면 영상 길이에 따라 저장 부담이 커질 수 있다. 반대로 최근 프레임만 남기면 오래전에 보인 대상의 정보를 잃을 수 있다. XMem은 갱신 속도와 표현 밀도가 다른 메모리들을 연결해 이 문제를 다룬다.
작업 정보의 장기 통합
자주 활용되는 작업 메모리 요소를 장기 메모리로 통합하는 과정을 사용한다. 최근 상태와 오랫동안 유지할 정보를 서로 다른 방식으로 관리한다. 이름은 사람의 기억 이론에서 영감을 받았지만 사람의 기억을 그대로 재현하거나 의식을 구현했다는 뜻은 아니다.
저장 정책의 예
설명용으로 600프레임마다 같은 크기의 특징을 저장하면 600개 항목이 필요하다. 열 프레임마다 하나를 남기면 60개가 되지만 중간 변화는 놓칠 수 있다. 이는 단순 표본 저장의 예이며 XMem의 실제 통합 알고리즘이나 압축률을 나타내지는 않는다.
오래 유지되는 대상 정보
대상이 가렸다가 나타나거나 외형이 바뀔 때 어떤 정보가 유지되는지 확인해야 한다. 장기 메모리가 있다는 사실만으로 영구적으로 정확한 식별이 보장되지는 않는다. 영상 길이별 분할 오차, 메모리 사용량과 갱신 비용을 함께 측정하고 초기 대상 지정 조건도 맞춰 비교한다.
관련 문서
STCN / 광류 / RAFT 광류 추정 / 비국소 신경망 / Video Swin Transformer / 합성곱 신경망