소리 생성의 지식 활용
파형이나 주파수 표현을 직접 생성하는 것 외에 소리가 만들어지는 방식에 관한 지식을 모델에 넣을 수 있다. DDSP는 고전 신호 처리 요소를 자동 미분 기반 학습에 직접 통합한다.
해석 가능한 모듈
모듈이 각각 무엇을 담당하는지 이해할 수 있으면 특정 요소를 따로 조작하기 쉽다. 신경망의 표현 능력과 소리 합성에 관한 강한 사전 구조를 함께 활용하려는 접근이다.
제어와 변환
연구는 음높이와 소리 크기의 독립 제어, 학습에서 보지 못한 음높이로의 확장, 잔향 처리, 음색 변환 등을 제시한다. 이들은 모듈을 나누어 조작하는 접근의 응용이다.
제어가 유지되는지 확인
가상의 선율에서 음색만 바꾸려 했는데 음높이나 크기까지 달라졌다면 원하는 분리가 이뤄지지 않은 것이다. 바꾼 속성의 변화와 유지하려던 속성의 보존을 함께 확인해야 한다.