음악 설명에서 장면 제안으로
악기와 리듬을 설명하는 문장과 음악에 어울리는 상황을 제안하는 문장은 목적이 다르다. MusiScene은 후자를 음악 장면 상상 과제로 다루며 음악과 영상의 관계를 활용한다.
학습 자료와 미세 조정
영상과 오디오의 캡션 자료 3371쌍을 구성하고 MU-LLaMA를 이 과제에 맞게 미세 조정한다. 기반 모델의 일반적인 음악 이해를 반복 설명하기보다 장면 맥락을 생성하는 추가 과제가 핵심이다.
배경음 생성과의 연결
생성한 장면 설명을 텍스트 기반 영상 배경음악 생성에 활용한다. 음악을 곧바로 영상으로 변환하는 방식과는 다르며 중간의 문장이 음악과 영상 맥락을 연결하는 역할을 한다.
상상과 사실의 구분
잔잔한 반복음을 듣고 새벽의 빈 작업실을 제안할 수 있다. 이는 음악과 어울릴 법한 장면이지 녹음이 실제로 그런 장소에서 이루어졌다는 증거가 아니다. 장면 상상 결과를 사실적 음원 설명과 구분해야 한다.