일반 외형과 대상 정보
물체의 색이나 윤곽처럼 일반적인 시각 정보와 어느 지정 대상에 속하는지의 정보는 역할이 다르다. 대상에 특화된 정보가 커질수록 일반 시각 정보가 약해질 수 있다는 문제를 다룬다. DeAOT는 두 표현의 전파를 분리한다.
두 분기의 계층 처리
일반 시각 임베딩과 객체별 임베딩을 독립된 분기에서 전달한다. 추가된 두 분기의 계산을 다루기 위해 단일 헤드 주의를 사용하는 게이트 전파 모듈을 설계한다. 분리했다고 서로 다른 종류의 입력 영상이 반드시 두 개 필요한 것은 아니다.
특징 분리의 의미 예
설명용으로 같은 빨간색 물체 A와 B를 생각하자. 색이라는 외형 정보는 공유하지만 지정된 대상의 이름표는 다르다. 외형만 남기면 구분이 어렵고 이름표만 남기면 변화한 관측과 연결할 단서가 부족할 수 있다. 실제 모델의 채널 배치나 정답 표현을 지정한 예는 아니다.
분리 효과를 검증하기
두 분기가 있다는 구조만으로 정보가 완전히 독립되거나 오류 전파가 없어지는 것은 아니다. 공통 외형, 가림 및 재등장 조건에서 성능을 확인해야 한다. 비교에서는 입력 해상도와 초기 마스크 조건을 맞추고 추가 분기 및 전파 모듈의 비용을 함께 측정한다.
관련 문서
AOT 영상 객체 분할 / STCN / XMem / 비국소 신경망 / 트랜스포머 / Video Swin Transformer