영상을 객체 집합으로 바꾸기
영상 전체를 하나의 특징으로만 나타내는 대신 개별 시청각 객체의 집합으로 표현하는 것이 목표다. 어텐션으로 소리 원천을 찾고 묶으며 광류를 통해 시간에 걸친 정보를 모으는 모델을 제시한다.
검출기 없이 배우는 조건
주석 없는 영상으로 학습하고 물체 검출기의 도움 없이 후속 과제를 다루는 표현을 제시한다. 이는 모든 객체의 의미 이름을 정확히 알아낸다는 주장과 다르며 영상과 소리 사이의 일관된 단위를 배우려는 접근이다.
발화 중심의 후속 과제
다중 화자 음원 분리, 화자 위치 추정과 추적, 어긋난 시청각 자료의 보정, 현재 발화자 검출에 학습된 임베딩을 활용한다. 만화나 인형 같은 사람이 아닌 화자에도 적용해 방법의 일반성을 살핀다.
위치와 현재 발화의 차이
화면에서 사람이 계속 같은 자리에 있어도 말하는 순간과 침묵하는 순간은 달라진다. 화자 위치를 추적하는 일과 현재 말하는지 판단하는 일은 별도다. 객체 표현을 평가할 때 공간적 유지와 시간적 활동을 함께 구분할 필요가 있다.
관련 문서
VisualVoice / Looking to Listen / 어텐션 기반 시청각 음원 위치 학습 / 동기 예측 다감각 표현 / XDC / 자기 지도 학습