모델에 들어가는 표현
같은 음악도 어떤 토큰으로 표현하느냐에 따라 모델이 배워야 하는 관계가 달라진다. Pop Music Transformer는 트랜스포머에 입력하는 음악 표현을 개선해 운율 구조를 더 쉽게 인식하도록 한다.
박과 마디의 계층
박과 마디, 악구의 계층을 입력 자료에 반영한다. 모델이 추상적인 시간 간격만으로 구조를 찾아야 하는 부담을 줄이려는 접근이며 음악적 지식을 표현 설계에 넣는 방식이다.
표현성과 구조의 결합
국소적인 템포 변화를 표현할 유연성을 유지하면서 리듬 및 화성 구조를 다루려 한다. 구조를 명시한다고 모든 연주가 일정한 속도로 고정되는 것은 아니다.
같은 간격의 다른 위치
같은 길이의 음도 마디의 첫 박에 있는지 약한 박에 있는지에 따라 역할이 달라질 수 있다. 시간 길이뿐 아니라 마디 안의 위치를 표현하면 이런 차이를 모델에 전달할 수 있다.
관련 문서
Music Transformer / POP909 / MusicVAE / 표현적 연주 직접 생성 / MAESTRO / MSU-Bench