시간 정렬을 학습 신호로 쓰기
시각 사건과 소리가 함께 발생하면 두 신호를 만든 공통 사건이 있을 수 있다. 이 접근은 영상의 시각·청각 정보를 융합한 표현으로 함께 모델링하며 프레임과 소리의 시간적 정렬 여부를 신경망이 예측하도록 한다.
범주 주석과 다른 감독
특정 동작에 특정 소리를 연결하라는 범주별 정답을 직접 주는 대신 동기 관계를 자기 지도 신호로 사용한다. 시간적으로 맞는다는 조건과 사건의 원인을 완전히 안다는 것은 다르므로 표현의 활용은 별도로 평가해야 한다.
세 가지 활용 과제
학습된 표현을 영상 속 음원 위치의 시각화, 시청각 행동 인식, 화면 안팎 음원 분리에 적용한다. 위치를 찾는 일과 소리를 분리하는 일은 출력이 다르며 같은 표현을 서로 다른 후속 과제에 활용한다는 의미다.
지연된 타격음의 예
물체를 두드리는 손동작 뒤에 소리가 늦게 붙으면 화면과 음향은 같은 종류의 사건을 담아도 시간적으로 어긋날 수 있다. 동기 예측은 이런 정렬 차이를 다루는 과제다. 촬영과 편집에서 생긴 지연도 대응 판단에 영향을 줄 수 있다.
관련 문서
Look Listen and Learn / Objects that Sound / PixelPlayer / VisualVoice / SoundNet / 자기 지도 학습