얼굴에 대응하는 발화 찾기
여러 사람이 말하거나 배경 소리가 있는 영상에서 특정 얼굴과 관련된 발화를 추출하는 것이 목표다. 단순히 전체 녹음의 잡음을 줄이는 일과 누구의 발화인지 구분해 분리하는 일은 다르다.
움직임 외에 외형도 활용하기
입술 움직임과 발생 소리의 정렬에 집중한 접근에 더해 얼굴 외형을 추가 사전 단서로 활용한다. 외형에서 예상되는 음성 특성의 관계를 이용하는 것이며 얼굴만으로 실제 발화 내용을 확정하는 방식은 아니다.
두 과제의 공동 학습
주석 없는 영상에서 시청각 발화 분리와 교차 모달 화자 임베딩을 함께 학습한다. 다섯 벤치마크의 발화 분리와 향상 과제, 다양한 실제 영상에서 평가한다. 실험의 범위와 모든 화자·촬영 조건에서의 성능 보장을 구분해야 한다.
겹친 대화의 예
두 사람이 같은 화면에서 동시에 말하면 소리만으로 어느 얼굴에 대응하는지 알기 어려울 수 있다. 영상의 움직임과 외형은 서로 다른 단서를 제공한다. 얼굴이 가려지거나 화면에 없는 화자가 말할 때에는 사용할 수 있는 시각 정보도 달라진다.