여러 대상을 함께 연결하기
영상에서 같은 종류의 두 물체를 별개 대상으로 유지하려면 영역뿐 아니라 식별도 필요하다. AOT는 여러 대상의 식별 정보를 같은 고차원 표현 공간에 연결한다. 각 객체를 완전히 독립된 전체 모델로 반복 처리하는 부담을 줄이는 접근이다.
장단기 정보 전파
Long Short-Term Transformer는 여러 시간의 정보를 계층적으로 대응시키고 전달한다. 가까운 프레임의 변화와 과거에 관찰한 대상 정보를 활용할 수 있다. 이름에 장기 정보가 포함된다고 무한한 시간 동안 정확한 추적이 보장되는 것은 아니다.
영역과 식별의 차이
설명용으로 왼쪽 물체를 A, 오른쪽을 B라고 지정한 뒤 두 물체가 자리를 바꾼다고 하자. 매 프레임 왼쪽 영역에 A를 붙이면 영역 모양이 맞아도 식별은 틀린다. 객체 분할에서는 경계의 정확도와 시간에 따른 대상 유지가 함께 중요하다.
여러 객체의 비용
공통 처리가 가능해도 객체 수와 해상도에 따른 전체 메모리 및 실행 조건을 확인해야 한다. 가림, 교차와 비슷한 외형의 대상에서 오차가 생길 수 있다. 초기 대상 지정과 평가 규약을 맞추고 분할 영역 및 경계의 품질을 나누어 비교한다.
관련 문서
STCN / XMem / 비국소 신경망 / 트랜스포머 / Video Swin Transformer / 광류