좋은 소리와 맞는 소리
오디오 자체가 자연스러워도 문장이 요구한 사건이 빠지거나 순서가 틀릴 수 있다. Tango 2는 이런 조건 충족을 명시적으로 다뤄 생성 모델을 조정하려 한다.
선호 자료의 구성
기존 Tango를 이용해 문장마다 더 나은 오디오와 덜 나은 오디오를 합성한다. 덜 나은 출력은 문장의 일부 개념이 누락되거나 잘못된 순서로 나타나는 경우를 의도한다.
확산 선호 최적화
합성한 비교 자료에 확산 DPO 손실을 사용해 모델을 미세 조정한다. 연구는 자동 및 사람 평가를 함께 수행하지만 합성 선호의 품질과 개별 출력의 실제 조건 충족 여부는 계속 확인해야 한다.
시간 순서의 예
문을 닫은 뒤 발소리가 멀어지는 조건에서 발소리가 먼저 들리면 두 사건이 모두 있어도 지시와 다르다. 각 사건의 존재와 사건 사이의 순서를 나눠 확인하는 것이 중요하다.
관련 문서
Tango 오디오 생성 / AudioLDM 2 / AudioCaps / ReasonAudio / ADQA-Bench / HalluAudio