전체 구조와 세밀한 파형
오디오 생성에서는 전체적인 구조뿐 아니라 짧은 구간의 파형 일관성도 중요하다. GANSynth는 병렬 생성의 효율을 유지하면서 국소적으로 자연스러운 소리를 만드는 문제를 다룬다.
스펙트럼 표현
충분한 주파수 해상도에서 로그 크기와 순간 주파수를 모델링한다. 크기 정보만 만드는 것과 달리 위상의 시간 변화와 관련된 표현을 함께 다루는 접근이다.
음악 음의 평가
NSynth 데이터셋을 이용해 자동 평가와 사람의 청감 평가를 수행한다. 개별 음악 음에서 얻은 결과를 완성된 긴 곡의 구조까지 해결한 것으로 확대해서 해석해서는 안 된다.
소리의 자연스러움
가상의 같은 악기 음을 비교할 때 평균 스펙트럼이 비슷해도 순간적인 거칠음이 다르게 들릴 수 있다. 전체 음색과 짧은 파형의 일관성을 나누어 들으면 표현이 해결하려는 문제를 이해하기 쉽다.
관련 문서
NSynth / DDSP / WaveNet / MelGAN / MusicVAE / Descript Audio Codec