긴 시퀀스와 잠재 코드
순환 변분 오토인코더는 긴 구조를 학습하기 어렵거나 잠재 코드를 충분히 사용하지 않을 수 있다. MusicVAE는 디코더의 계층 구조로 잠재 표현의 활용을 유도하려 한다.
부분 구간으로 나누는 디코더
먼저 입력의 부분 시퀀스에 대응하는 임베딩을 출력하고 이를 이용해 각 부분을 독립적으로 생성한다. 긴 흐름의 중간 구조를 통해 전체 잠재 코드와 국소 생성 과정을 연결한다.
사후 붕괴와 비교
연구는 잠재 코드를 무시하는 사후 붕괴 문제에 대응하고 평평한 기준 모델과 샘플링, 보간, 복원을 비교한다. 특정 구조의 개선이 모든 시퀀스 자료에서 이 문제를 자동으로 없앤다는 뜻은 아니다.
보간과 복사의 차이
두 선율의 잠재 표현 사이를 이동해 새 선율을 만드는 것은 음표 절반씩을 붙이는 편집과 다르다. 보간한 결과가 부드럽게 변하는지와 음악적 구조를 유지하는지를 함께 살펴야 한다.
관련 문서
Music Transformer / POP909 / MAESTRO / GiantMIDI-Piano / 변분 오토인코더 / NSynth