음표를 중간 표현으로
음악 파형에는 매우 짧은 진동부터 긴 곡 구조까지 서로 다른 시간 범위의 정보가 있다. MAESTRO를 소개한 연구는 음표를 중간 표현으로 사용해 전사와 작곡, 오디오 합성을 나누는 Wave2Midi2Wave를 제안한다.
연주와 음표의 정렬
논문에서 소개한 자료는 172시간 이상의 피아노 연주에 음표 레이블과 파형을 약 3밀리초 수준으로 정렬했다. 이 규모는 논문의 소개 시점에 해당하며 이후 배포판의 통계와는 구분해야 한다.
분리한 모델의 역할
전사 모델은 오디오에서 음표를 얻고 작곡 모델은 음표의 흐름을 만들며 합성 모델은 이를 파형으로 바꾼다. 역할을 나누면 음악적 구조와 소리 구현을 중간 표현을 통해 연결할 수 있다.
소리와 음표 시점의 차이
피아노 음의 시작과 잔향이 끝나는 시점은 서로 다르다. 음표와 파형을 정밀하게 맞춘 자료는 모델이 어떤 사건을 어느 시점에 예측하는지 확인하는 데 도움이 된다.
관련 문서
NSynth / MSU-Bench / MuSP-Bench / PitchBench / MERT / FMA 음악 데이터셋