움직임을 음악 사건으로
연주자의 몸 움직임에서 MIDI 사건을 예측하는 번역 문제로 음악 생성을 구성한다. 영상에서 바로 완성된 파형을 출력하는 대신 시각적 동작과 기호적인 음악 표현을 연결한다.
중간 표현의 연결
영상에서는 몸의 주요 지점을, 오디오에서는 MIDI 사건을 핵심 표현으로 사용한다. 그래프 트랜스포머가 몸 움직임에 대응하는 MIDI 시퀀스를 예측하도록 구성된다.
합성과 편집
예측한 MIDI 사건은 별도의 음악 합성기로 소리로 변환할 수 있다. 사건 단위의 표현을 유지하므로 결과를 통째로 다시 만드는 것 외에 음의 배치나 연주 내용을 편집하는 경로가 생긴다.
그럴듯함과 원음 복원
보이는 연주에 어울리는 음악을 만드는 것과 촬영 당시의 원음을 정확히 복원하는 것은 다르다. 카메라에 드러나지 않는 연주 정보가 있을 수 있으므로 자연스러운 결과가 원래 녹음과 동일하다고 해석해서는 안 된다.
관련 문서
Music Transformer / MusicVAE / MusicBERT / MAESTRO / AutoFoley / FoleyCrafter