문서 둘러보기
S3QA
S3QA는 깨끗한 음성과 손상된 음성의 WavLM 임베딩 거리를 학습 목표로 삼는 음질 평가 방식이다. 학습된 모델은 손상된 음성만 받아 그 거리값을 예측한다.
불확실성 기반 MOS 예측
불확실성 기반 MOS 예측은 사전 학습된 자기 지도 음성 모델의 불확실성을 음질의 대리 신호로 활용하는 연구다. 대규모 청취 평가 라벨이 부족한 조건에서 점수와의 상관관계를 분석한다.
MOSA-Net
MOSA-Net은 여러 음성 평가 지표를 동시에 예측하는 다목적 모델이다. 서로 다른 영역의 특징을 활용하며 객관적 지표 예측에서 배운 표현을 주관적 품질 평가와 음성 향상으로 확장한다.
NISQA
NISQA는 통신망에서 생기는 왜곡에 초점을 둔 음성 품질 예측 모델이다. 합성곱과 자기 어텐션을 사용하며 전체 품질뿐 아니라 잡음, 음색 변화, 불연속, 소리 크기의 네 측면을 예측한다.
DNSMOS P835
DNSMOS P835는 깨끗한 원본과 직접 대조하지 않고 잡음 억제 음성의 품질을 예측하는 지표다. 음성 품질, 배경 잡음 품질, 전체 품질을 각각 출력하도록 사람의 평가에서 학습한다.
UTMOS
UTMOS는 음성 샘플의 평균 의견 점수를 예측하는 앙상블 시스템이다. 자기 지도 음성 모델을 개선한 강한 학습기와 그 특징에서 점수를 예측하는 약한 학습기를 결합한다.
생성 음악 FAD 보정
생성 음악 FAD 보정은 프레셰 오디오 거리를 음악 생성 평가에 적용할 때 나타나는 표본 수 편향과 임베딩 및 기준 자료 선택 문제를 다루는 연구다. 점수의 안정성과 청감 품질의 관계를 함께 살핀다.
프레셰 음악 거리
프레셰 음악 거리는 생성한 기호 음악과 기준 기호 음악의 임베딩 분포 사이 거리를 평가하는 지표다. FMD로 줄여 부르며 오디오 파형 대신 추상적인 음악 특징을 다루는 표현을 비교한다.
ViSQOL v3
ViSQOL v3는 기준 오디오와 평가 오디오를 비교해 지각적인 음질을 추정하는 도구다. 음성용 ViSQOL과 일반 오디오용 ViSQOLAudio의 개선을 통합한 공개 구현이다.
프레셰 오디오 거리
프레셰 오디오 거리는 평가할 오디오 묶음과 기준 오디오 묶음의 임베딩 분포를 비교하는 지표다. FAD로 줄여 부르며 각 출력에 정확히 대응하는 원본 녹음 없이 음악 향상 결과를 평가하도록 제안됐다.
SampleRNN
SampleRNN은 오디오 샘플을 하나씩 생성하는 무조건 신경망 오디오 모델이다. 자기회귀 다층 퍼셉트론과 상태를 갖는 순환 신경망을 계층적으로 결합해 긴 시간의 변화를 다룬다.
WaveGAN
WaveGAN은 원시 오디오 파형을 비지도 방식으로 생성하는 생성적 적대 신경망이다. 약 1초 길이의 소리 조각에서 전체적인 일관성을 갖춘 파형을 만드는 문제를 연구한다.
DDSP
DDSP는 고전적인 디지털 신호 처리 요소를 미분 가능한 학습 과정에 연결하는 접근이다. 해석 가능한 합성 모듈과 신경망을 결합해 소리 생성과 제어를 다룬다.
GANSynth
GANSynth는 주파수 영역의 로그 크기와 순간 주파수를 모델링하는 적대적 오디오 합성 방식이다. 병렬 생성의 효율과 세밀한 파형의 일관성을 함께 다루며 NSynth에서 평가한다.
Parallel WaveNet
Parallel WaveNet은 학습된 WaveNet에서 병렬 순방향 생성기를 학습하는 음성 합성 방식이다. 확률 밀도 증류를 이용해 순차적인 샘플 생성의 부담을 줄이는 것을 목표로 한다.
WaveGrad
WaveGrad는 데이터 밀도의 기울기를 추정해 잡음을 음성 파형으로 바꾸는 조건부 생성 모델이다. 멜 스펙트로그램을 조건으로 가우시안 백색 잡음을 반복적으로 정제한다.
DiffWave
DiffWave는 백색 잡음을 단계적으로 변환해 오디오 파형을 만드는 확산 확률 모델이다. 멜 스펙트로그램 조건의 보코딩, 클래스 조건 생성, 무조건 파형 생성을 다룬다.
Parallel WaveGAN
Parallel WaveGAN은 다중 해상도 스펙트로그램 손실과 적대적 손실로 비자기회귀 WaveNet을 학습하는 파형 생성 방식이다. 교사 모델의 밀도 증류 없이 작고 빠른 합성기를 학습하는 것을 목표로 한다.
Grad-TTS
Grad-TTS는 잡음을 점차 변환해 멜 스펙트로그램을 생성하는 확산 기반 텍스트 음성 합성 모델이다. 단조 정렬 탐색으로 텍스트와 표현을 연결하고 점수 기반 디코더를 사용한다.
VITS
VITS는 조건부 변분 오토인코더와 정규화 플로, 적대적 학습을 결합한 텍스트 음성 합성 방식이다. 확률적인 지속시간 예측으로 같은 텍스트가 서로 다른 리듬으로 발화되는 경우를 모델링한다.
WaveGlow
WaveGlow는 멜 스펙트로그램을 조건으로 음성 파형을 생성하는 플로 기반 신경망이다. Glow와 WaveNet의 아이디어를 결합하며 자기회귀 생성 없이 파형 합성을 수행한다.
MelGAN
MelGAN은 멜 스펙트로그램 등 조건에서 오디오 파형을 합성하는 생성적 적대 신경망이다. 비자기회귀 완전 합성곱 구조로 파형 생성을 다루며 청감 평가와 구성 요소 분석을 함께 제시한다.
HiFi-GAN 보코더
HiFi-GAN 보코더는 멜 스펙트로그램을 원시 음성 파형으로 변환하는 생성적 적대 신경망이다. 여러 주기와 여러 규모의 판별기로 음성의 반복 구조와 연속적인 패턴을 함께 학습한다.
Glow-TTS
Glow-TTS는 외부 정렬기 없이 텍스트와 음성 표현의 단조 정렬을 찾는 플로 기반 음성 합성 모델이다. 플로의 성질과 동적 계획법을 결합해 병렬 음성 합성을 학습한다.
FastSpeech 2
FastSpeech 2는 실제 목표 음성을 직접 학습하고 지속시간, 음높이, 에너지를 조건으로 사용하는 비자기회귀 음성 합성 방식이다. 같은 문장이 여러 운율로 발화될 수 있다는 특성을 다룬다.
HiFi-GAN 음성 향상
HiFi-GAN 음성 향상은 잡음과 잔향 등으로 손상된 녹음 음성의 청감 품질을 높이는 방식이다. 순방향 WaveNet 구조와 시간 및 시간 주파수 영역의 다중 규모 판별기를 사용한다.
FastSpeech
FastSpeech는 음소의 지속시간을 이용해 멜 스펙트로그램을 병렬 생성하는 음성 합성 방식이다. 트랜스포머 기반 순방향 네트워크와 길이 조절기를 사용해 입력과 출력의 길이를 맞춘다.
Tacotron 2
Tacotron 2는 문자에서 멜 스펙트로그램을 예측한 뒤 수정된 WaveNet 보코더로 파형을 만드는 음성 합성 구조다. 음향 특징 예측과 파형 합성을 두 부분으로 연결한다.
CPU 코어 수와 게임 성능
코어 수가 늘어도 게임 프레임이 비례해 늘지 않는 이유를 병렬 처리, 순차 작업과 병목의 관점에서 설명한다.
Tacotron
Tacotron은 문자에서 스펙트로그램을 예측하고 이를 파형으로 변환하는 텍스트 음성 합성 모델이다. 텍스트와 오디오의 쌍으로 어텐션 기반 시퀀스 모델을 처음부터 학습한다.
WaveNet
WaveNet은 이전 오디오 샘플들을 조건으로 다음 샘플의 확률분포를 예측하는 자기회귀 생성 모델이다. 압축된 기호 대신 원시 오디오 파형을 직접 모델링한다.
AudioLM
AudioLM은 오디오를 이산 토큰으로 변환하고 그 순서를 언어 모델처럼 학습하는 생성 방식이다. 긴 구조를 담는 표현과 소리의 세부를 복원하는 코드를 결합해 짧은 오디오 뒤에 이어질 내용을 생성한다.
VALL-E
VALL-E는 텍스트 음성 합성을 신경망 오디오 코덱의 이산 코드를 예측하는 조건부 언어 모델링 문제로 구성한 방식이다. 짧은 음향 프롬프트를 이용하는 새로운 화자의 음성 합성을 연구한다.
HiFi-Codec
HiFi-Codec은 그룹 잔차 벡터 양자화로 적은 수의 코드북을 사용하는 오디오 코덱이다. 생성 모델의 중간 표현으로 쓰이는 오디오 코드의 복원 품질과 처리 부담을 함께 다룬다.
L3AC
L3AC은 하나의 양자화기와 경량 구조를 사용하는 신경망 오디오 코덱이다. 합성곱 네트워크, 국소 트랜스포머, 여러 시간 규모의 음향 변화를 다루는 TConv를 탐구한다.
Descript Audio Codec
Descript Audio Codec은 음성, 환경음, 음악을 이산 코드로 압축하는 신경망 오디오 코덱이다. 개선된 RVQGAN을 이용해 고해상도 오디오를 생성 모델이 다룰 수 있는 표현으로 변환한다.
SNAC
SNAC은 서로 다른 시간 해상도의 양자화기를 사용해 오디오를 이산 코드로 압축하는 다중 규모 신경망 코덱이다. 잔차 벡터 양자화를 확장해 여러 시간 규모의 소리 구조를 표현한다.
EnCodec
EnCodec은 양자화한 잠재 공간을 사용하는 신경망 오디오 코덱이다. 스트리밍 인코더와 디코더를 함께 학습하며, 복원 음질과 학습 안정성을 위한 판별기 및 손실 균형 장치를 사용한다.
SoundStream
SoundStream은 음성, 음악, 일반 오디오를 압축하는 신경망 코덱이다. 완전 합성곱 인코더와 디코더, 잔차 벡터 양자화기를 함께 학습해 소리를 압축된 표현으로 변환한다.
FoleyBench
FoleyBench는 화면에 보이는 사건과 원인 관계가 있는 효과음 생성을 평가하는 벤치마크다. 영상, 대응 오디오, 텍스트 설명으로 구성한 5천 개의 묶음을 제공한다.
MMAudio
MMAudio는 영상과 선택적인 텍스트 조건으로 소리를 생성하는 공동 학습 방식이다. 텍스트 오디오 데이터와 영상 데이터를 함께 활용하고 프레임 수준의 조건부 동기화 모듈을 둔다.
HunyuanVideo-Foley
HunyuanVideo-Foley는 텍스트와 영상을 함께 받아 장면에 맞는 소리를 생성하는 확산 방식이다. 오디오 표현 정렬과 두 갈래의 오디오 영상 융합, 텍스트 의미 주입을 결합한다.
Seeing and Hearing
Seeing and Hearing은 이미 학습된 영상 생성 모델과 오디오 생성 모델을 공통 표현으로 연결하는 방식이다. 영상과 소리를 함께 만들거나 한쪽 정보를 이용해 다른 쪽 생성을 유도하는 문제를 다룬다.
Diff-Foley
Diff-Foley는 대조적 시청각 사전 학습과 잠재 확산을 결합해 영상에 맞는 소리를 생성하는 방식이다. 소리의 의미뿐 아니라 영상과의 시간 정렬을 고려한 특징을 생성 조건으로 사용한다.
SpecVQGAN
SpecVQGAN은 영상 특징을 조건으로 스펙트로그램 코드북의 토큰을 생성해 소리로 바꾸는 방식이다. 영상 프레임에서 얻은 정보를 이용해 시각 내용과 관련된 소리를 합성한다.
AutoFoley
AutoFoley는 영상의 동작과 프레임 사이 관계를 분석해 시간에 맞는 효과음을 합성하는 딥러닝 방식이다. 빠른 움직임을 다루기 위한 보간과 시간 관계 네트워크를 활용한다.
Foley Music
Foley Music은 악기를 연주하는 무음 영상에서 음악을 생성하는 시스템이다. 몸의 주요 지점과 MIDI 사건을 중간 표현으로 사용해 움직임을 음악 사건의 순서로 변환한다.
FolAI
FolAI는 영상의 움직임에서 소리의 시간 구조를 얻고, 사용자가 지정한 의미 조건으로 효과음을 만드는 생성 방식이다. 언제 울릴지와 어떤 소리를 낼지를 두 단계로 나누어 조절한다.
FoleyCrafter
FoleyCrafter는 무음 영상에 맞는 효과음을 생성하는 방식이다. 사전 학습된 텍스트 오디오 모델에 영상 의미를 연결하는 어댑터와 발생 시점을 조절하는 시간 제어기를 결합한다.
Stable Audio 시간 조건 생성
Stable Audio 시간 조건 생성은 텍스트와 시간 임베딩을 이용해 길이가 다른 음악 및 효과음을 생성하는 방식이다. 완전 합성곱 변분 오토인코더의 잠재 표현에서 확산을 수행한다.
Mousai
Mousai는 텍스트 설명에서 분 단위의 스테레오 음악을 생성하는 두 단계 잠재 확산 모델이다. 긴 시간 범위의 음악 구조를 다루는 생성 방식을 연구한다.
Mustango
Mustango는 화음과 박, 템포와 조성 같은 음악적 조건을 문장으로 지정해 음악을 생성하는 확산 기반 시스템이다. 음악 영역 지식을 반영한 안내 모듈을 사용한다.
Tango 2
Tango 2는 생성 오디오가 문장의 사건과 시간 순서를 더 잘 따르도록 선호 최적화를 적용하는 연구다. 좋은 출력과 일부 개념이 빠지거나 순서가 다른 출력을 합성해 비교 학습한다.
Tango 오디오 생성
Tango 오디오 생성은 지시 조정한 언어 모델을 텍스트 인코더로 사용하는 잠재 확산 기반 생성 방식이다. 문장 설명에 따라 오디오를 만들며 음압 수준을 고려한 자료 증강을 활용한다.
AudioLDM
AudioLDM은 텍스트 설명을 조건으로 일반 오디오를 생성하는 잠재 확산 모델이다. CLAP의 오디오 및 텍스트 임베딩을 학습 시점과 생성 시점에 각각 활용한다.
AudioLDM 2
AudioLDM 2는 발화와 음악, 효과음의 생성에 공통된 학습 방식을 적용하려는 오디오 생성 프레임워크다. AudioMAE로 얻은 일반 표현을 중간 언어로 사용한다.
MusicGen
MusicGen은 압축된 음악 토큰의 여러 스트림을 하나의 언어 모델로 예측하는 음악 생성 모델이다. 텍스트나 선율 특징을 조건으로 모노 및 스테레오 음악을 생성한다.
MusicLM
MusicLM은 자연어 설명을 조건으로 음악 오디오를 생성하는 모델이다. 계층적인 시퀀스 모델링을 사용하며 문장과 선율을 함께 조건으로 주는 생성도 다룬다.
PC 화면을 휴대전화에 표시하기
원격 데스크톱과 게임 스트리밍으로 PC 화면을 휴대전화에서 보고 조작하는 원리와 연결 조건을 설명한다.
BACHI
BACHI는 기호 음악의 화음을 경계 탐지와 여러 속성의 반복 판단으로 인식하는 모델이다. 화음의 근음과 성질, 베이스 및 전위를 단계적으로 다룬다.
대규모 기호 피아노 표현 학습
대규모 기호 피아노 표현 학습은 많은 독주 피아노 전사 자료로 사전 학습한 모델을 생성과 분류, 대조 임베딩에 활용하는 연구다. 작은 고품질 자료를 후속 학습에 사용한다.
MIDI-LLaMA
MIDI-LLaMA는 기호 음악 인코더와 언어 모델을 연결해 MIDI 음악에 대한 설명과 질문 응답을 수행하는 모델이다. 특징 정렬 뒤 지시 조정을 적용한다.
PianoBART
PianoBART는 기호 피아노 음악의 생성과 이해에 공통으로 활용할 표현을 사전 학습하는 모델이다. BART 구조와 과제별 다수준 대상 선택 전략을 사용한다.
MidiBERT-Piano
MidiBERT-Piano는 기호 피아노 음악의 분류를 위해 마스킹 언어 모델링으로 사전 학습하는 연구다. 악보형 MIDI와 실제 연주형 MIDI를 구분해 음표 및 시퀀스 수준 과제를 평가한다.
MusicBERT
MusicBERT는 MIDI 같은 기호 자료에서 음악을 이해하도록 사전 학습한 모델이다. 음악의 구조와 다양한 속성에 맞춘 인코딩 및 마디 단위 마스킹을 사용한다.
Compound Word Transformer
Compound Word Transformer는 음악 토큰의 종류를 구분하고 이웃 토큰을 묶어 긴 곡을 모델링하는 생성 모델이다. 음높이와 길이, 세기와 위치 같은 서로 다른 속성을 별도로 다룬다.
Pop Music Transformer
Pop Music Transformer는 박과 마디의 계층을 드러내는 음악 입력 표현으로 피아노 곡을 생성하는 모델이다. 상대적인 연주 시간과 함께 운율 구조를 명시적으로 다루려 한다.
트랜스포머 오토인코더의 음악 스타일 표현
트랜스포머 오토인코더의 음악 스타일 표현은 연주 전체의 스타일을 하나의 표현에 담고 시간별 정보와 결합하는 연구다. 음악 생성에서 스타일과 선율을 나누어 제어하는 문제를 다룬다.
MusicVAE
MusicVAE는 긴 음악 시퀀스의 구조를 잠재 벡터로 표현하는 계층적 변분 오토인코더다. 부분 구간의 임베딩을 먼저 만들고 각 구간을 생성하는 디코더를 사용한다.
Music Transformer
Music Transformer는 상대적인 위치 정보를 활용해 긴 음악 시퀀스를 생성하는 트랜스포머 모델이다. 동기와 악구의 반복처럼 멀리 떨어진 요소의 관계를 다룬다.
표현적 연주 직접 생성
표현적 연주 직접 생성은 음표와 함께 미세한 타이밍 및 강약을 예측해 연주를 만드는 접근이다. 악보를 생성한 뒤 별도로 해석하는 방식과 구분되는 연구 관점이다.
시점 회귀 기반 피아노 전사
시점 회귀 기반 피아노 전사는 음표와 페달의 정확한 시작 및 끝 시점을 회귀하도록 학습하는 자동 전사 방식이다. 프레임 간격에만 의존하는 시간 해상도의 한계를 줄이려 한다.
Onsets and Frames
Onsets and Frames는 피아노 녹음에서 음의 시작과 구간별 음높이를 함께 예측하는 자동 전사 모델이다. 시작 검출 결과로 새로운 음표의 생성을 제한해 전사 오류를 줄이려 한다.
GiantMIDI-Piano
GiantMIDI-Piano는 클래식 피아노 녹음에서 자동으로 전사한 대규모 MIDI 데이터셋이다. 음의 시작과 끝, 높이와 세기 등의 정보를 이용해 음악 정보 검색과 음악 분석을 연구한다.
POP909
POP909는 전문 음악가가 대중가요를 피아노로 편곡한 여러 버전을 제공하는 데이터셋이다. 선율과 반주, 음악 구조 주석을 활용하는 편곡 생성 연구를 지원한다.
MUSDB18
MUSDB18은 혼합 음악과 분리된 악기 및 보컬 트랙으로 음악 음원 분리를 평가하는 데이터셋이다. 여러 장르의 전체 길이 곡에 학습과 시험 분할을 제공한다.
MusicNet 데이터셋
MusicNet 데이터셋은 클래식 음악 녹음에 악기와 음표의 시간 주석을 연결한 학습 및 평가 자료다. 원시 오디오로부터 음표를 예측하는 음악 표현 연구에 사용됐다.
MAESTRO
MAESTRO는 피아노 연주의 오디오와 음표 정보를 정밀하게 맞춘 데이터셋이다. 소리를 음표로 옮기고 새로운 음표 흐름을 만든 뒤 다시 오디오로 합성하는 연구에 활용됐다.
Slakh
Slakh는 MIDI 자료를 가상 악기로 합성해 혼합 음악과 개별 악기 트랙을 함께 제공하는 데이터셋이다. 음악 음원 분리에서 학습 자료의 양과 품질이 주는 영향을 연구하기 위해 구성됐다.
FMA 음악 데이터셋
FMA 음악 데이터셋은 음악 정보 검색과 분석을 위해 오디오 및 메타정보를 제공하는 자료다. 곡 전체의 음원과 계층적 장르, 사전 계산한 특징을 함께 다룬다.
NSynth
NSynth는 개별 음악 음을 다루는 신경 오디오 합성 연구에서 제안된 데이터셋이다. WaveNet 방식의 오토인코더와 함께 악기 사이의 음색 보간을 연구하는 데 사용됐다.
PitchBench
PitchBench는 오디오 언어 모델이 음높이를 얼마나 정확하게 듣는지 평가하는 실험 묶음이다. 단일 음부터 화음과 여러 성부 속 선율까지 다양한 음향 조건을 바꿔 검사한다.
SongEval
SongEval은 전체 길이의 노래에 대한 미적 품질을 전문가 평점으로 평가하는 데이터셋이다. 곡의 일관성과 기억에 남는 정도, 보컬 표현과 구조 등 여러 측면을 다룬다.
BASS 음악 추론 평가
BASS 음악 추론 평가는 음악의 구조와 의미를 함께 이해하는 오디오 언어 모델의 능력을 살피는 벤치마크다. 가사 전사부터 음악학적 분석과 아티스트 협업까지 여러 과제를 포함한다.
SongBench
SongBench는 생성한 노래의 품질을 여러 음악적 측면에서 세밀하게 평가하는 틀이다. 보컬과 악기, 선율부터 편곡과 믹싱까지 전문가가 주석한 자료로 차이를 분석한다.
LLark
LLark는 음악의 이해와 설명, 추론을 자연어 지시에 맞춰 수행하도록 학습한 멀티모달 모델이다. 사전 학습한 음악 생성 모델의 표현과 언어 모델을 통합한다.
M2UGen
M2UGen은 음악과 이미지, 영상의 이해를 음악 생성과 연결하는 멀티모달 프레임워크다. 입력별 인코더와 언어 모델을 거쳐 음악 생성 모델을 활용한다.
MusiLingo
MusiLingo는 음악 오디오 표현을 언어 모델에 연결해 음악 설명과 질문 응답을 생성하는 시스템이다. 고정한 음악 모델과 언어 모델 사이를 단일 투영 층으로 정렬한다.
JamendoMaxCaps
JamendoMaxCaps는 기악곡에 자동 생성한 설명과 보완한 메타정보를 연결한 대규모 음악 캡션 데이터셋이다. 음악 특징과 메타정보로 유사 곡을 찾아 빠진 정보를 채우는 방식을 사용한다.
Song Describer
Song Describer는 음악과 언어를 연결하는 모델의 평가를 위해 사람이 작성한 음악 설명 데이터셋이다. 같은 자료 안의 평가뿐 아니라 다른 데이터셋으로 옮겼을 때의 성능도 살핀다.
HumMusQA
HumMusQA는 사람이 직접 작성하고 음악 교육을 받은 전문가가 정선·검증한 질문으로 음악 이해를 평가하는 데이터셋이다. 실제 음악 지각과 해석을 확인하는 문항 구성에 초점을 둔다.
MARBLE 음악 표현 평가
MARBLE 음악 표현 평가는 사전 학습한 음악 오디오 표현을 여러 음악 정보 검색 과제에서 비교하는 벤치마크다. 음향부터 연주와 악보, 높은 수준의 설명까지 평가 범위를 조직한다.
MSU-Bench
MSU-Bench는 완전한 악보를 대상으로 음높이와 리듬, 화성과 큰 구조를 통합해 이해하는 능력을 평가하는 벤치마크다. 문자형 ABC 표기와 시각적 PDF 악보를 비교한다.
MusTBench
MusTBench는 음악에 대한 답변이 올바른 오디오 구간에 근거하는지 평가하는 벤치마크다. 악기의 진입이나 리듬 전환처럼 특정 시점에 나타나는 정보를 다룬다.
GaMMA 음악 이해
GaMMA 음악 이해는 곡 전체의 특징과 시간에 따라 변하는 음악 정보를 하나의 모델에서 다루려는 접근이다. 여러 오디오 인코더와 단계적인 학습을 결합한다.
MuSP-Bench
MuSP-Bench는 악보와 연주를 각각 이해하는 능력과 둘을 함께 해석하는 능력을 평가하는 음악 벤치마크다. 클래식 피아노와 관현악 작품에서 해석과 긴 범위의 추론을 다룬다.
MuChin
MuChin은 음악을 이해하고 중국어 일상 언어로 설명하는 모델을 평가하는 벤치마크다. 전문가와 일반 청취자의 표현 차이를 고려한 주석 절차로 평가 자료를 구성한다.
MuChoMusic
MuChoMusic은 음악을 듣고 관련 지식과 추론이 필요한 선택형 질문에 답하는 능력을 평가하는 벤치마크다. 음악적 개념과 문화 및 기능적 맥락을 함께 다룬다.
ADQA-Bench
ADQA-Bench는 오디오 모델이 문자 단서만으로 답을 고르지 않고 실제 소리에 근거하는지 평가하는 벤치마크다. DCASE 2026 Task 5에서 오디오 의존성이 확인된 문항을 사용한다.
AudioMCQ
AudioMCQ는 오디오 대형 언어 모델의 후속 학습을 연구하기 위한 선택형 질문 데이터셋이다. 정답에 소리가 얼마나 기여하는지에 따라 자료를 나누고 단계별 학습에 활용한다.