음의 시작과 지속
어떤 높이의 소리가 이어지고 있는지와 새로운 음이 시작됐는지는 다른 정보다. Onsets and Frames는 두 신호를 함께 학습해 여러 음이 겹치는 피아노 녹음을 전사한다.
시작 검출로 예측 제한하기
먼저 음높이별 시작 사건을 예측하고 그 결과를 프레임별 음높이 예측의 조건으로 사용한다. 추론 시에는 시작 검출기도 해당 높이의 시작에 동의해야 새로운 음표가 생기도록 제한한다.
끝 시점과 연주 세기
음의 시작뿐 아니라 끝 시점도 함께 고려해 전사를 평가한다. 정규화한 오디오의 상대적인 연주 세기를 예측하는 확장도 제시해 음표 목록 이상의 표현을 다루려 한다.
반복음과 잔향의 예
같은 건반을 다시 누르는 사건은 이전 음의 잔향이 남아 있는 상황에서도 새 음표가 될 수 있다. 지속 신호만 보는 경우와 새 타격을 확인하는 경우를 구분하면 반복음을 해석하는 데 도움이 된다.
관련 문서
MAESTRO / GiantMIDI-Piano / MusicNet 데이터셋 / NSynth / PitchBench / POP909