소리가 있는 장면
움직임이나 외형뿐 아니라 소리가 나는 대상도 시선 선택과 관련될 수 있다. STAViS는 시공간 시각 정보와 청각 정보를 하나의 네트워크 안에서 결합한다.
음원과 시각 특징
시각 현저성과 청각 특징을 함께 사용해 음원의 위치를 찾고 두 현저성 정보를 융합하도록 학습한다. 최종 출력은 소리 파형이 아니라 영상 위의 현저성 지도다.
여러 자료의 비교
시청각 시선 추적 자료가 있는 여러 데이터베이스에서 평가하고 시각 전용 변형과도 비교한다. 자료가 달라질 때 같은 융합 방식이 얼마나 안정적으로 작동하는지 살핀다.
음원의 존재와 기여
가령 배경 음악처럼 화면의 특정 물체와 연결되지 않는 소리는 다른 처리가 필요할 수 있다. 소리가 있다는 사실만으로 예측이 개선된다고 가정하지 말고 음성 단서의 실제 기여를 확인해야 한다.
관련 문서
ViNet / DAVE 시청각 현저성 / UNISAL / 시청각 학습 / 음원 위치 추정 / 컴퓨터 비전