누구의 발화인지 연결하기
소리만으로 혼합 발화를 분리해도 각 결과가 영상의 누구에게 해당하는지는 별도 문제다. 이 모델은 시각 정보와 청각 정보를 결합해 원하는 화자에 집중하고 발화 분리 품질을 높이는 방법을 다룬다.
얼굴을 지정하는 사용 방식
영상에서 발화를 분리할 사람의 얼굴을 지정하면 그 사람과 연관된 발화를 추출한다. 여러 사람의 발화와 배경 잡음이 섞인 상황을 대상으로 한다. 얼굴 선택은 목표 지정이며 모든 혼합음을 무조건 완전히 없앤다는 뜻은 아니다.
화자 독립 학습과 AVSpeech
웹에서 얻은 수천 시간의 영상 구간으로 구성한 AVSpeech 데이터셋을 도입해 공동 시청각 모델을 학습한다. 관심 있는 화자마다 별도 모델을 훈련해야 하는 화자 의존 방식과 달리 한 번 학습한 모델을 적용하는 화자 독립 방식을 제시한다.
겹친 발표의 예
화면 속 두 발표자가 동시에 말할 때 왼쪽 사람의 얼굴을 목표로 지정하는 상황을 생각할 수 있다. 단순히 왼쪽 스피커 채널을 선택하는 일과 다르며 얼굴과 소리의 관계를 모델이 추정해야 한다. 촬영 위치와 녹음 채널의 의미도 구분해야 한다.
관련 문서
VisualVoice / AVID-CMA / SoundNet / Look Listen and Learn / PixelPlayer / XDC