파형에서 시간 표현 배우기
연구는 원시 파형에서 시간적 코드를 학습하고 이를 조건으로 자기회귀 디코더가 소리를 생성하는 오토인코더를 제안한다. NSynth는 이런 오디오 모델링의 학습과 평가를 지원하기 위해 함께 소개됐다.
개별 음을 이용한 비교
완성된 곡 전체보다 개별 음악 음에 초점을 둔 자료다. 연구에서는 정교하게 조정한 스펙트럼 오토인코더 기준과 WaveNet 방식 오토인코더를 질적 및 정량적으로 비교한다.
음색 표현의 보간
학습한 임베딩 공간에서 악기 사이를 보간해 새로운 음색을 만드는 실험을 보여 준다. 단순히 두 녹음을 섞는 것과 학습한 표현 사이를 이동해 새 소리를 만드는 것은 다른 방식이다.
높이와 음색의 역할
같은 음높이를 서로 다른 악기로 연주하면 높이는 유지되면서 소리의 질감이 달라질 수 있다. 음색 표현을 다루는 실험에서는 어떤 속성을 유지하고 어떤 속성을 바꾸는지 구분하는 것이 중요하다.
관련 문서
MERT / PitchBench / MARBLE 음악 표현 평가 / M2UGen / MuSP-Bench / MusCALL