음악의 반복과 구조
짧은 동기가 다시 나타나거나 앞부분의 구간이 돌아오는 현상은 음악 구조의 중요한 요소다. Music Transformer는 자기 어텐션을 이용해 이런 긴 범위의 관계를 모델링하려 한다.
상대 위치의 메모리 부담
상대 위치 정보의 중간 계산에 필요한 메모리를 시퀀스 길이에 대해 선형으로 줄이는 알고리즘을 제안한다. 이 개선이 트랜스포머의 모든 계산과 메모리가 선형이라는 뜻은 아니다.
생성과 조건부 생성
분 단위의 작곡과 주어진 동기를 이어 발전시키는 생성, 선율을 조건으로 하는 반주 생성을 다룬다. JSB Chorales와 Piano-e-Competition 자료에서 상대 어텐션을 적용한 모델을 평가한다.
기억과 단순 반복의 차이
처음의 짧은 선율을 뒤에서 변형해 되돌리는 것과 같은 구간을 그대로 복사하는 것은 다르다. 긴 구조의 일관성을 평가할 때는 반복의 존재뿐 아니라 앞뒤 문맥에서의 역할도 살펴야 한다.
관련 문서
MAESTRO / POP909 / MSU-Bench / MusTBench / GiantMIDI-Piano / 트랜스포머