혼합음과 개별 트랙
음원 분리 모델을 학습하려면 섞인 음악과 그 안의 개별 악기 신호가 필요하다. 일반 음악에는 이런 개별 트랙이 없는 경우가 많아 Slakh는 합성으로 대응 자료를 제공한다.
MIDI에서 합성한 자료
Lakh MIDI 데이터셋을 전문적인 샘플 기반 가상 악기로 렌더링해 기악 혼합음과 대응하는 개별 트랙을 만든다. 첫 버전 Slakh2100은 2100곡과 혼합음 145시간으로 구성된다.
자료와 구조의 효과 구분
모델 성적의 차이가 구조 자체보다 증강 방식이나 자료 부족에 대응한 학습 기법에서 나올 수 있다. Slakh는 이런 영향을 살피고 기존 자료를 보강하는 도구로 제안됐다.
실제 녹음과의 차이
합성한 피아노와 드럼을 정확히 분리해도 라이브 녹음의 잔향과 마이크 간 누설까지 잘 처리한다는 보장은 없다. 기악 합성 자료라는 조건과 실제 평가 환경 사이의 차이를 확인해야 한다.
관련 문서
FMA 음악 데이터셋 / NSynth / MAESTRO / PixelPlayer / Co-Separation / MARBLE 음악 표현 평가