이해와 생성의 연결
입력을 설명하는 능력과 그 입력에 맞는 음악을 만드는 능력은 다르다. M2UGen은 여러 모달리티를 이해하는 과정과 음악 생성 과정을 언어 모델로 연결하려는 프레임워크다.
입력별 사전 학습 모델
음악과 이미지, 영상에 각각 MERT와 ViT, ViViT를 활용한다. LLaMA 2가 멀티모달 이해와 음악 생성 사이를 연결하며 생성에는 AudioLDM 2와 MusicGen의 활용을 탐구한다.
학습 자료 구성
MU-LLaMA를 이용해 텍스트와 이미지, 영상에서 음악을 생성하는 학습을 지원하는 자료를 만든다. 입력을 표현하는 모델과 학습용 자료를 구성하는 모델, 실제 음악을 생성하는 모델의 역할을 구분해야 한다.
장면에서 음악으로
비가 오는 거리 영상을 바탕으로 음악을 만들 때 화면에 이미 존재하는 소리를 그대로 추출하는 것과 새 음악을 생성하는 것은 다르다. 생성 결과가 장면과 어울리는지와 원래 음원을 복원했는지를 같은 기준으로 평가할 수 없다.