지시 학습 모델의 표현
텍스트에서 소리를 생성하려면 문장이 요구하는 내용을 표현해야 한다. Tango는 지시 조정한 Flan-T5를 고정한 텍스트 인코더로 활용해 잠재 확산 모델의 조건을 제공한다.
소리 혼합을 통한 증강
학습 자료를 보강할 때 무작위 혼합 대신 음압 수준에 기반한 혼합 방식을 적용한다. 연구는 성적 개선이 텍스트 인코더뿐 아니라 이런 증강의 영향도 받을 수 있다고 논의한다.
비교 조건의 해석
AudioCaps 시험 집합에서 기존 모델과 여러 지표를 비교한다. 인코더와 학습 자료, 증강 방식이 함께 달라질 수 있으므로 한 요소만 성능 차이의 확정 원인으로 삼아서는 안 된다.
소리 간 균형의 예
문장에 빗소리와 멀리서 들리는 차 소리가 함께 있으면 두 소리의 존재뿐 아니라 상대적인 크기도 중요할 수 있다. 혼합 자료를 만들 때 작은 사건이 완전히 가려졌는지 확인할 필요가 있다.
관련 문서
AudioLDM / AudioLDM 2 / AudioCaps / WavCaps / MusicGen / CLAP