공통으로 필요한 음악 구조
새 음악을 생성하는 과제와 음악을 이해하는 과제 모두 구조와 작곡 패턴의 학습이 필요하다. PianoBART는 배운 특징을 두 목적에 활용하기 위해 제안됐다.
과제별 대상 선택
서로 다른 사전 학습 과제에 다수준 대상 선택 전략을 적용한다. 학습 중 정보가 새어 나가거나 유실되는 문제를 줄이려는 설계로, 어떤 정보를 남기고 예측하게 할지와 관련된다.
후속 과제로의 전이
사전 학습에서 얻은 음악적 의미 표현을 음악 생성과 이해 과제에 미세 조정한다. 공통 표현을 활용하더라도 생성의 일관성과 이해의 정확성은 다른 기준으로 확인해야 한다.
복원과 이해의 차이
빠진 음을 자연스럽게 채우는 모델이 곡의 감정이나 구조를 정확히 분류한다는 보장은 없다. 생성 결과의 품질과 분류 및 해석 과제의 성적을 함께 비교해야 공통 표현의 활용 범위를 알 수 있다.
관련 문서
MusicBERT / MidiBERT-Piano / MusicVAE / POP909 / MAESTRO / Music Transformer