위키득계정 ↗
기술

음원 연결 대조 학습

음원 연결 대조 학습기술
원 논문
Multi-Source Contrastive Learning from Musical Audio
학습 쌍
곡 일부와 추출 음원
음원 선택
보컬 또는 악기를 확률적으로 선택
추가 정보
특정 음원의 존재 여부
음원 연결 대조 학습은 곡의 일부와 그 안에서 추출한 보컬 또는 악기 소리를 연결해 음악 표현을 배우는 방식이다. 어떤 음원을 선택하느냐에 따라 표현이 담는 특징을 유도한다.

분리한 소리를 학습 뷰로

곡의 일부와 자동으로 분리한 보컬 또는 악기 음원을 연결하는 쌍을 만든다. 전체 혼합곡을 서로 다른 방식으로 증강하는 것 외에 구성 음원과의 관계를 학습하는 접근이다.

음원 존재 정보

특정 음원이 있는지 없는지를 대조 손실에 반영하는 변경도 제안한다. 음원 선택과 존재 정보가 어떤 특징을 배우는지에 영향을 줄 수 있다.

후속 과제의 평가

음악 자동 태깅, 악기 분류, 장르 분류에서 표현을 평가한다. 선택한 음원에 따라 특정 정보로 학습을 유도할 수 있지만 모든 과제의 요구가 같지는 않다.

분리 품질의 영향

추출한 보컬에 반주가 많이 남거나 악기 음원이 손상되면 학습 쌍의 의미도 달라질 수 있다. 자동 분리라는 단계의 오류와 표현 학습의 효과를 나누어 살펴야 한다.

관련 문서

COLA 오디오 표현 / CLMR / BYOL-A / MERT / MusCALL / MUSDB18