프레임 거리에 따른 차이
주석 프레임 주변의 프레임과 시간적으로 먼 프레임은 제공하는 정보가 다를 수 있다. 이 연구는 주석 없는 프레임을 시간 특성에 따라 NF와 DF로 나눠 각 역할을 활용하는 틀을 제시한다.
가까운 프레임의 움직임
시간적으로 인접한 프레임의 움직임을 동적인 안내 정보로 사용해 물체 위치를 개선한다. 같은 장면의 짧은 변화는 영역 이동을 파악하는 단서를 줄 수 있다. 가까운 프레임이라는 이유만으로 모든 음향 상태가 같다고 가정하는 것은 아니다.
먼 프레임의 다양성
먼 프레임은 의미적으로 비슷한 물체를 다른 외형으로 보여줄 수 있다. 이를 주석 프레임의 유효한 증강으로 활용하고 자기 훈련으로 자료의 다양성을 늘린다. 시간적으로 떨어진 프레임의 의미 단서와 인접 프레임의 움직임 단서를 구분하는 접근이다.
거리별 단서의 예
연주 장면의 연속 두 프레임은 손과 악기의 이동을 보여줄 수 있다. 더 뒤의 프레임은 다른 각도에서 같은 종류의 악기를 보여줄 수 있다. 전자는 이동 관계에, 후자는 외형 변화에 관한 단서가 될 수 있다.
관련 문서
AVSBench / SAMA-AVS / SSP 시청각 의미 분할 / AVSegFormer / Stepping Stones 시청각 학습 / 자기 지도 학습