공간 정보가 있는 평가 자료
AVIS와 소리 사건 위치 추정·검출을 연결하는 공간 시청각 벤치마크다. 단일 채널 음향에 없는 채널 사이 공간 단서를 이용해 동시에 소리 내는 사람을 구분하는 문제를 다룬다.
긴 기록과 간헐적 활동
230개 기록의 총길이는 10.5시간이며 평균 기록 길이는 164초다. 말소리가 중심인 실제 상호작용과 웃음, 박수, 발걸음 등을 포함한다. 한 사람이 계속 소리 내는 짧은 구간만 평가하는 조건과는 다르다.
영역과 동일성의 연결
수동 검토한 인스턴스 마스크는 음원 식별자 및 소리 사건 레이블에 연결된다. 공간 음향과 시각 특징을 결합하는 기준 모델로 프레임 수준 분할과 프레임 간 동일 개체 연결을 평가한다.
침묵 뒤의 재등장
한 사람이 잠시 말을 멈췄다가 다시 말하면 새 소리 구간을 검출하는 일과 같은 사람으로 연결하는 일이 함께 필요하다. 긴 기록에서는 다른 사람과의 교대도 생긴다. 마스크 정확도와 식별의 연속성을 따로 살펴야 한다.
관련 문서
AVISeg / BiAVIS / 자기 지도 시청각 객체 표현 / VisualVoice / Looking to Listen / Objects that Sound