영상마다 다른 대상
서로 다른 영상에서는 추적 대상도 배경도 달라진다. MDNet은 개별 학습 시퀀스를 도메인으로 보고 각 분기에서 해당 대상을 배경과 구분하도록 학습한다. 공유 층은 여러 영상에서 사용할 일반적인 대상 표현을 얻는다.
새 대상에 적응하기
새 영상에서는 사전 학습한 공유 층과 새 이진 분류 층을 사용한다. 이전 대상 상태 주변에서 뽑은 후보들을 평가하며 온라인 학습으로 적응한다. 새로운 대상의 실제 정답을 매 프레임 제공받는 방식과는 다르다.
도메인별 정답의 예
설명용으로 영상 하나에서는 고양이가 전경이고 다른 영상에서는 개가 전경일 수 있다. 각 영상의 분류 목표는 고양이 대 개가 아니라 지정한 대상 대 배경이다. 같은 외형도 어떤 시퀀스에서는 대상이고 다른 시퀀스에서는 배경에 들어갈 수 있다.
적응의 비용과 오류
온라인 갱신은 현재 장면에 맞출 수 있지만 계산 비용과 잘못된 관측의 학습 위험이 따른다. 후보 수, 갱신 횟수와 가림 조건을 함께 확인해야 한다. 다중 도메인 사전 학습과 실제 추적 중 적응의 기여를 나누고 초기 대상 지정 및 전체 지연도 맞춰 비교한다.