검색한 문장이 주는 문맥
입력 오디오에 조건을 두고 저장소에서 검색한 유사 캡션도 함께 사용해 새 설명을 생성한다. 비슷한 예시의 문장 표현을 활용할 수 있지만 검색 결과가 곧 현재 소리의 정답은 아니다.
검색과 생성의 연결
오디오·문장 모델 CLAP으로 관련 설명을 검색해 프롬프트를 구성한다. 이를 GPT-2에 넣고 CLAP 인코더와 디코더 사이 교차 어텐션으로 오디오 조건을 전달한다. 문장 프롬프트와 실제 음향 특징이 모두 생성에 관여한다.
교체 가능한 저장소
추가 영역 미세 조정 없이 교체 가능한 문장 저장소를 활용하는 방향을 제시한다. Clotho와 AudioCaps에서 영역 안팎의 성능을 평가하며 학습에 없던 사건과 여러 사건의 조합도 살핀다. 시스템 전체가 처음부터 훈련 없이 만들어졌다는 뜻은 아니다.
비슷하지만 다른 녹음
검색한 문장이 유리 깨지는 소리를 설명해도 입력이 금속 물체의 낙하일 수 있다. 비슷한 충격음이라는 이유로 문장을 그대로 적용하면 오류가 생긴다. 검색의 관련성과 최종 캡션의 음향 근거를 따로 확인해야 한다.
관련 문서
AudioCaps / Clotho / WavCaps / AudioSet / See Hear and Read / FSD50K