문서 둘러보기
대규모 기호 피아노 표현 학습
대규모 기호 피아노 표현 학습은 많은 독주 피아노 전사 자료로 사전 학습한 모델을 생성과 분류, 대조 임베딩에 활용하는 연구다. 작은 고품질 자료를 후속 학습에 사용한다.
MIDI-LLaMA
MIDI-LLaMA는 기호 음악 인코더와 언어 모델을 연결해 MIDI 음악에 대한 설명과 질문 응답을 수행하는 모델이다. 특징 정렬 뒤 지시 조정을 적용한다.
PianoBART
PianoBART는 기호 피아노 음악의 생성과 이해에 공통으로 활용할 표현을 사전 학습하는 모델이다. BART 구조와 과제별 다수준 대상 선택 전략을 사용한다.
MidiBERT-Piano
MidiBERT-Piano는 기호 피아노 음악의 분류를 위해 마스킹 언어 모델링으로 사전 학습하는 연구다. 악보형 MIDI와 실제 연주형 MIDI를 구분해 음표 및 시퀀스 수준 과제를 평가한다.
MusicBERT
MusicBERT는 MIDI 같은 기호 자료에서 음악을 이해하도록 사전 학습한 모델이다. 음악의 구조와 다양한 속성에 맞춘 인코딩 및 마디 단위 마스킹을 사용한다.
Compound Word Transformer
Compound Word Transformer는 음악 토큰의 종류를 구분하고 이웃 토큰을 묶어 긴 곡을 모델링하는 생성 모델이다. 음높이와 길이, 세기와 위치 같은 서로 다른 속성을 별도로 다룬다.
Pop Music Transformer
Pop Music Transformer는 박과 마디의 계층을 드러내는 음악 입력 표현으로 피아노 곡을 생성하는 모델이다. 상대적인 연주 시간과 함께 운율 구조를 명시적으로 다루려 한다.
트랜스포머 오토인코더의 음악 스타일 표현
트랜스포머 오토인코더의 음악 스타일 표현은 연주 전체의 스타일을 하나의 표현에 담고 시간별 정보와 결합하는 연구다. 음악 생성에서 스타일과 선율을 나누어 제어하는 문제를 다룬다.
MusicVAE
MusicVAE는 긴 음악 시퀀스의 구조를 잠재 벡터로 표현하는 계층적 변분 오토인코더다. 부분 구간의 임베딩을 먼저 만들고 각 구간을 생성하는 디코더를 사용한다.
Music Transformer
Music Transformer는 상대적인 위치 정보를 활용해 긴 음악 시퀀스를 생성하는 트랜스포머 모델이다. 동기와 악구의 반복처럼 멀리 떨어진 요소의 관계를 다룬다.
표현적 연주 직접 생성
표현적 연주 직접 생성은 음표와 함께 미세한 타이밍 및 강약을 예측해 연주를 만드는 접근이다. 악보를 생성한 뒤 별도로 해석하는 방식과 구분되는 연구 관점이다.
시점 회귀 기반 피아노 전사
시점 회귀 기반 피아노 전사는 음표와 페달의 정확한 시작 및 끝 시점을 회귀하도록 학습하는 자동 전사 방식이다. 프레임 간격에만 의존하는 시간 해상도의 한계를 줄이려 한다.
Onsets and Frames
Onsets and Frames는 피아노 녹음에서 음의 시작과 구간별 음높이를 함께 예측하는 자동 전사 모델이다. 시작 검출 결과로 새로운 음표의 생성을 제한해 전사 오류를 줄이려 한다.
GiantMIDI-Piano
GiantMIDI-Piano는 클래식 피아노 녹음에서 자동으로 전사한 대규모 MIDI 데이터셋이다. 음의 시작과 끝, 높이와 세기 등의 정보를 이용해 음악 정보 검색과 음악 분석을 연구한다.
POP909
POP909는 전문 음악가가 대중가요를 피아노로 편곡한 여러 버전을 제공하는 데이터셋이다. 선율과 반주, 음악 구조 주석을 활용하는 편곡 생성 연구를 지원한다.
MUSDB18
MUSDB18은 혼합 음악과 분리된 악기 및 보컬 트랙으로 음악 음원 분리를 평가하는 데이터셋이다. 여러 장르의 전체 길이 곡에 학습과 시험 분할을 제공한다.
MusicNet 데이터셋
MusicNet 데이터셋은 클래식 음악 녹음에 악기와 음표의 시간 주석을 연결한 학습 및 평가 자료다. 원시 오디오로부터 음표를 예측하는 음악 표현 연구에 사용됐다.
MAESTRO
MAESTRO는 피아노 연주의 오디오와 음표 정보를 정밀하게 맞춘 데이터셋이다. 소리를 음표로 옮기고 새로운 음표 흐름을 만든 뒤 다시 오디오로 합성하는 연구에 활용됐다.
Slakh
Slakh는 MIDI 자료를 가상 악기로 합성해 혼합 음악과 개별 악기 트랙을 함께 제공하는 데이터셋이다. 음악 음원 분리에서 학습 자료의 양과 품질이 주는 영향을 연구하기 위해 구성됐다.
FMA 음악 데이터셋
FMA 음악 데이터셋은 음악 정보 검색과 분석을 위해 오디오 및 메타정보를 제공하는 자료다. 곡 전체의 음원과 계층적 장르, 사전 계산한 특징을 함께 다룬다.
NSynth
NSynth는 개별 음악 음을 다루는 신경 오디오 합성 연구에서 제안된 데이터셋이다. WaveNet 방식의 오토인코더와 함께 악기 사이의 음색 보간을 연구하는 데 사용됐다.
PitchBench
PitchBench는 오디오 언어 모델이 음높이를 얼마나 정확하게 듣는지 평가하는 실험 묶음이다. 단일 음부터 화음과 여러 성부 속 선율까지 다양한 음향 조건을 바꿔 검사한다.
SongEval
SongEval은 전체 길이의 노래에 대한 미적 품질을 전문가 평점으로 평가하는 데이터셋이다. 곡의 일관성과 기억에 남는 정도, 보컬 표현과 구조 등 여러 측면을 다룬다.
BASS 음악 추론 평가
BASS 음악 추론 평가는 음악의 구조와 의미를 함께 이해하는 오디오 언어 모델의 능력을 살피는 벤치마크다. 가사 전사부터 음악학적 분석과 아티스트 협업까지 여러 과제를 포함한다.
SongBench
SongBench는 생성한 노래의 품질을 여러 음악적 측면에서 세밀하게 평가하는 틀이다. 보컬과 악기, 선율부터 편곡과 믹싱까지 전문가가 주석한 자료로 차이를 분석한다.
LLark
LLark는 음악의 이해와 설명, 추론을 자연어 지시에 맞춰 수행하도록 학습한 멀티모달 모델이다. 사전 학습한 음악 생성 모델의 표현과 언어 모델을 통합한다.
M2UGen
M2UGen은 음악과 이미지, 영상의 이해를 음악 생성과 연결하는 멀티모달 프레임워크다. 입력별 인코더와 언어 모델을 거쳐 음악 생성 모델을 활용한다.
MusiLingo
MusiLingo는 음악 오디오 표현을 언어 모델에 연결해 음악 설명과 질문 응답을 생성하는 시스템이다. 고정한 음악 모델과 언어 모델 사이를 단일 투영 층으로 정렬한다.
JamendoMaxCaps
JamendoMaxCaps는 기악곡에 자동 생성한 설명과 보완한 메타정보를 연결한 대규모 음악 캡션 데이터셋이다. 음악 특징과 메타정보로 유사 곡을 찾아 빠진 정보를 채우는 방식을 사용한다.
Song Describer
Song Describer는 음악과 언어를 연결하는 모델의 평가를 위해 사람이 작성한 음악 설명 데이터셋이다. 같은 자료 안의 평가뿐 아니라 다른 데이터셋으로 옮겼을 때의 성능도 살핀다.
HumMusQA
HumMusQA는 사람이 직접 작성하고 음악 교육을 받은 전문가가 정선·검증한 질문으로 음악 이해를 평가하는 데이터셋이다. 실제 음악 지각과 해석을 확인하는 문항 구성에 초점을 둔다.
MARBLE 음악 표현 평가
MARBLE 음악 표현 평가는 사전 학습한 음악 오디오 표현을 여러 음악 정보 검색 과제에서 비교하는 벤치마크다. 음향부터 연주와 악보, 높은 수준의 설명까지 평가 범위를 조직한다.
MSU-Bench
MSU-Bench는 완전한 악보를 대상으로 음높이와 리듬, 화성과 큰 구조를 통합해 이해하는 능력을 평가하는 벤치마크다. 문자형 ABC 표기와 시각적 PDF 악보를 비교한다.
MusTBench
MusTBench는 음악에 대한 답변이 올바른 오디오 구간에 근거하는지 평가하는 벤치마크다. 악기의 진입이나 리듬 전환처럼 특정 시점에 나타나는 정보를 다룬다.
GaMMA 음악 이해
GaMMA 음악 이해는 곡 전체의 특징과 시간에 따라 변하는 음악 정보를 하나의 모델에서 다루려는 접근이다. 여러 오디오 인코더와 단계적인 학습을 결합한다.
MuSP-Bench
MuSP-Bench는 악보와 연주를 각각 이해하는 능력과 둘을 함께 해석하는 능력을 평가하는 음악 벤치마크다. 클래식 피아노와 관현악 작품에서 해석과 긴 범위의 추론을 다룬다.
MuChin
MuChin은 음악을 이해하고 중국어 일상 언어로 설명하는 모델을 평가하는 벤치마크다. 전문가와 일반 청취자의 표현 차이를 고려한 주석 절차로 평가 자료를 구성한다.
MuChoMusic
MuChoMusic은 음악을 듣고 관련 지식과 추론이 필요한 선택형 질문에 답하는 능력을 평가하는 벤치마크다. 음악적 개념과 문화 및 기능적 맥락을 함께 다룬다.
ADQA-Bench
ADQA-Bench는 오디오 모델이 문자 단서만으로 답을 고르지 않고 실제 소리에 근거하는지 평가하는 벤치마크다. DCASE 2026 Task 5에서 오디오 의존성이 확인된 문항을 사용한다.
AudioMCQ
AudioMCQ는 오디오 대형 언어 모델의 후속 학습을 연구하기 위한 선택형 질문 데이터셋이다. 정답에 소리가 얼마나 기여하는지에 따라 자료를 나누고 단계별 학습에 활용한다.
DCASE 2025 오디오 질의응답
DCASE 2025 오디오 질의응답은 여러 소리 영역에서 질문에 답하는 모델을 평가하는 챌린지 과제다. 생물 음향과 시간적 소리 풍경, 복잡한 질의응답을 세 하위 집합으로 구성한다.
SEABED
SEABED는 동남아시아의 실제 발화 자료를 바탕으로 오디오 추론을 평가하는 질문 답변 데이터셋이다. 전사와 번역을 넘어 말투와 운율 등 소리의 근거로 판단하는 능력을 다룬다.
AudioRAG
AudioRAG는 오디오에서 얻은 정보에 웹 검색으로 확보한 외부 근거를 더해야 하는 추론을 평가하는 벤치마크다. 모델 내부 지식만 사용하는 오디오 이해와 검색 결합 능력을 구분한다.
RMS-AQA
RMS-AQA는 실제 가정 환경의 소리를 바탕으로 사건의 위치와 시간 관계를 추론하는 공간 오디오 질문 답변 벤치마크다. 들리는 사건을 확인한 뒤 그 근거로 추론하는 두 단계를 둔다.
SALMon 음향 평가
SALMon 음향 평가는 음성 언어 모델이 발화 내용 밖의 음향 정보를 얼마나 일관되게 모델링하는지 살피는 평가 묶음이다. 올바른 소리 샘플에 더 높은 점수를 주는지를 비교한다.
video-SALMONN
video-SALMONN은 영상 프레임과 소리 사건, 음악 및 발화를 함께 이해하도록 구성한 시청각 대형 언어 모델이다. 발화에 필요한 세밀한 시간 정보와 다른 영상 요소의 처리를 함께 고려한다.
AudioICL-Bench
AudioICL-Bench는 오디오 모델이 문맥의 예시만으로 새로운 소리와 레이블의 대응 규칙을 배우는지 평가하는 벤치마크다. 이미 아는 과제를 알아보는 능력과 새 규칙 학습을 구분한다.
SSEU-Bench
SSEU-Bench는 발화와 비발화 소리의 에너지 차이를 고려해 오디오 모델의 이해를 평가하는 벤치마크다. 말의 내용과 음향 장면, 사건을 따로 이해하는 조건과 함께 이해하는 조건을 비교한다.
AudioBench
AudioBench는 오디오 입력에 따라 지시를 수행하는 대형 언어 모델을 여러 과제에서 평가하는 벤치마크다. 발화의 내용과 음향 장면, 목소리의 준언어적 정보를 함께 평가 범위에 둔다.
SVHalluc
SVHalluc는 말로 언급한 내용이 실제 화면에 나타나는지와 그 사건이 언제 보이는지를 평가하는 시청각 환각 벤치마크다. 발화 내용과 영상의 증거를 혼동하는 오류를 진단한다.
ART 오디오 추론 평가
ART 오디오 추론 평가는 서로 다른 소리 이해 능력을 결합해야 하는 문제로 멀티모달 모델을 평가하는 벤치마크다. 하나의 음성 인식 결과만 읽는 것으로 해결하기 어려운 과제를 지향한다.
AVHBench
AVHBench는 영상과 소리를 함께 이해하는 대형 언어 모델의 환각을 평가하는 벤치마크다. 두 입력 사이의 미묘한 관계를 구별하는지와 모달리티 간 대응 및 추론을 살핀다.
AHa-Bench
AHa-Bench는 오디오 대형 언어 모델의 환각을 의미와 음향 정보의 관점에서 나눠 평가하는 벤치마크다. 발화 내용과 소리의 성질을 함께 이해할 때 생기는 오류를 살핀다.
CMM 멀티모달 환각 평가
CMM 멀티모달 환각 평가는 언어와 영상, 오디오를 함께 이용하는 모델의 근거 없는 출력을 분석하는 벤치마크다. 한 입력 방식에 대한 과도한 의존과 입력 사이의 잘못된 연관을 살핀다.
ALME
ALME는 오디오와 문자가 서로 다른 내용을 제시할 때 음성 언어 모델이 어느 쪽을 따르는지 평가하는 자료다. 오디오를 따르라는 지시에도 충돌하는 문자를 선택하는 경향을 측정한다.
CMDAR
CMDAR는 여러 화자와 사건이 얽히고 시간에 따라 장면이 변하는 중국어 오디오의 추론 능력을 평가하는 벤치마크다. 발화와 환경음, 음악이 상호작용하는 복잡한 조건을 다룬다.
AHA 오디오 정렬
AHA 오디오 정렬은 언어적으로 그럴듯하지만 소리와 맞지 않는 설명을 구별하도록 오디오 모델을 학습하는 틀이다. 반사실적 어려운 오답으로 선호 자료를 구성한다.
MISHAP-Bench
MISHAP-Bench는 오디오 모델의 열린 답변이 소리와 검증 가능한 지식에 근거하는지 평가하는 벤치마크다. 단순 오답과 근거 없는 주장을 구분해 진단한다.
ReasonAudio
ReasonAudio는 문장과 소리의 단순 유사도보다 복잡한 조건을 요구하는 텍스트 오디오 검색 벤치마크다. 부정과 순서, 동시 발생과 지속 시간에 대한 판단을 평가한다.
SYAUDIO
SYAUDIO는 오디오 모델이 실제 소리와 어긋나는 사용자 주장에 동조하는 현상을 평가하는 벤치마크다. 음향 근거를 유지하면서 잘못된 피드백에 대응하는지를 살핀다.
HalluAudio
HalluAudio는 발화와 환경음, 음악에 대해 오디오 모델이 근거 없는 답을 만드는 현상을 평가하는 벤치마크다. 정답률 외에도 환각과 응답 편향, 거절 양상을 함께 분석한다.
MMAR-Rubrics
MMAR-Rubrics는 오디오 추론의 최종 답뿐 아니라 제시한 설명의 사실성과 논리를 평가하는 항목별 평가 절차다. 음성 추론 모델과 도구를 사용하는 에이전트를 비교하는 데 활용된다.
Long Listening Thoughts
Long Listening Thoughts는 오디오 추론 모델의 후속 학습 자료를 구성하는 틀이다. 다양한 소리 설명과 어려운 질문, 오류 추론과 검증 과정을 포함한 자료를 만든다.
SALMONN-duo
SALMONN-duo는 실시간 음성 대화와 시간이 오래 걸리는 추론 및 도구 사용을 두 시스템에 나누는 음성 에이전트다. 직접 응답할지 처리를 맡길지도 학습한다.
MusiScene
MusiScene은 음악을 듣고 그 음악과 어울리는 장면을 문장으로 제안하는 음악 캡셔닝 모델이다. 음악 요소의 설명을 넘어 영상 배경음 생성에 활용할 장면 맥락을 다룬다.
SALMONN-2
SALMONN-2는 자기 지도 오디오 인코더의 여러 층에서 얻은 표현을 언어 모델에 연결하는 오디오 대형 언어 모델이다. 층별 특징 융합과 문맥 예시를 활용하는 학습을 연구한다.
MuseDiag
MuseDiag는 오디오 모델이 음악에 없는 내용을 설명하는 현상을 진단하는 평가 틀이다. 소리 사건부터 감정까지 층위를 나누고 서로 다른 응답 방식에서 오류 양상을 비교한다.
오디오 선택형 평가의 강건성
오디오 선택형 평가의 강건성은 소리와 정답의 의미를 유지한 채 질문 표현이나 선택지 순서를 바꿨을 때 모델의 판단이 얼마나 일관적인지 살피는 문제다.
MMSU
MMSU는 말의 내용뿐 아니라 억양과 속도, 감정 같은 음성 단서를 함께 해석하는 능력을 평가하는 벤치마크다. 언어학적 현상을 바탕으로 발화 이해와 추론 과제를 구성한다.
MMAR
MMAR는 발화와 음악, 환경음이 섞인 녹음을 바탕으로 여러 단계의 추론을 평가하는 오디오 벤치마크다. 소리의 식별에서 문화적 맥락까지 질문의 층위를 구분한다.
AIR-Bench 오디오 평가
AIR-Bench 오디오 평가는 발화·자연음·음악을 이해하고 문장으로 지시에 응답하는 모델을 평가하는 벤치마크다. 기초 과제와 열린 질의응답을 나눠 단일 과제 능력과 생성적 이해를 살핀다.
MMAU
MMAU는 발화·환경음·음악을 이해하고 추론하는 오디오 모델을 평가하는 벤치마크다. 사람이 주석한 질문·답변과 소리 구간을 연결하며 정보 추출과 분야 지식이 필요한 추론을 함께 다룬다.
LAION-CLAP
LAION-CLAP는 다양한 길이의 소리를 다루는 특징 융합과 키워드·캡션 증강을 결합한 대규모 오디오·언어 사전 학습 접근이다. 여러 자료에서 모은 LAION-Audio-630K 쌍으로 검색과 분류를 평가한다.
MusCALL
MusCALL은 음악과 설명 문장의 대응을 대조 학습하는 두 인코더 모델이다. 공통 임베딩으로 문장에서 음악을 찾거나 음악에서 설명을 찾으며 장르 분류와 자동 태깅으로의 제로샷 전이도 평가한다.
CLAP
CLAP은 소리와 자연어 설명을 두 인코더로 표현하고 대조 학습으로 공통 공간에 연결하는 방법이다. 추론 시 문장으로 범주를 지정할 수 있어 고정된 소리 레이블만을 예측하는 방식보다 유연한 활용을 지향한다.
MuLan
MuLan은 음악 오디오와 자유로운 자연어 설명을 공통 임베딩 공간에 연결하는 모델이다. 정해진 태그만으로 음악을 찾는 방식에서 벗어나 자연어 검색과 제로샷 음악 태깅을 다룬다.
MERT
MERT는 음악의 음향 표현을 대규모 자기 지도 방식으로 학습하는 모델이다. 음향 교사와 음악 교사가 만든 의사 레이블로 마스킹된 입력을 예측하는 사전 학습을 수행한다.
OpenMU
OpenMU는 음악을 이해하는 멀티모달 언어 모델과 관련 자료 묶음을 제안한 연구다. 기존 데이터셋과 새 주석을 활용한 OpenMU-Bench로 음악 이해, 가사 이해, 음악 도구 사용까지 범위를 넓힌다.
MU-LLaMA
MU-LLaMA는 음악 파일에 대한 질문에 답하고 설명 문장을 생성하는 모델이다. 사전 학습한 MERT의 음악 표현을 활용하며 열린 음악 질의응답을 위한 MusicQA 자료를 함께 제안한다.
Pengi
Pengi는 오디오 과제를 텍스트 생성으로 통합하는 오디오·언어 모델이다. 소리와 문장의 임베딩을 접두 표현으로 결합해 고정된 사전 학습 언어 모델이 자유 문장을 출력하도록 한다.
Audio Flamingo
Audio Flamingo는 비음성 소리와 비언어적 발화를 다루는 오디오·언어 모델이다. 문맥 내 예시와 검색으로 새로운 과제에 적응하고 소리에 관한 여러 차례의 대화를 수행하는 방향을 연구한다.
LongAudio
LongAudio는 긴 오디오의 설명 생성과 질의응답을 학습하기 위한 연구 자료다. Audio Flamingo 2 연구에서 30초부터 5분 길이의 소리 이해와 전문가 주석 평가를 함께 다룬다.
GAMA 오디오 이해
GAMA는 여러 종류의 오디오 표현과 언어 모델을 연결해 소리 이해와 복잡한 추론을 다루는 모델이다. Audio Q-Former와 여러 인코더 층의 특징을 모으는 집계기를 사용한다.
LTU-AS
LTU-AS는 발화 내용과 준언어적 특성, 비음성 소리 사건을 함께 이해하는 모델이다. Whisper 기반 지각 모듈과 LLaMA 추론 모듈을 연결해 발화와 환경음의 관계를 다룬다.
LTU 오디오 이해
LTU는 소리 지각과 언어적 추론을 함께 다루는 오디오 기반 모델이다. 소리·질문·답변 자료로 학습하며 정해진 소리 범주 분류를 넘어 세부 내용과 장면의 의미를 이해하는 방향을 연구한다.
Qwen2-Audio
Qwen2-Audio는 다양한 오디오 입력을 분석하고 발화 지시에 텍스트로 응답하는 오디오·언어 모델이다. 텍스트 없이 음성으로 상호작용하는 방식과 소리·문장 지시를 함께 주는 분석 방식을 지원한다.
SALMONN
SALMONN은 사전 학습 언어 모델에 발화·오디오 인코더를 연결해 말소리와 일반 음향, 음악을 함께 다루는 멀티모달 모델이다. 음성 인식부터 소리 설명과 음향 기반 질의응답까지 여러 과제를 평가한다.
AutoCap과 GenAu
AutoCap과 GenAu는 환경음 자료의 설명 품질과 생성 모델의 확장성을 함께 다루는 연구의 두 모델이다. AutoCap이 소리 설명을 만들고 GenAu는 트랜스포머 기반 소리 생성을 수행한다.
AF-AudioSet
AF-AudioSet은 오디오 언어 모델로 AudioSet의 소리에 합성 설명을 부여한 연구 자료다. 생성된 캡션을 문장 기반 오디오 생성 모델의 사전 학습에 활용하는 효과를 평가한다.
ZerAuCap
ZerAuCap은 캡셔닝 과제에 특화된 추가 훈련 없이 사전 학습 언어 모델과 오디오·언어 모델로 소리 설명을 생성하는 방법이다. 오디오 문맥 키워드를 더해 생성 문장을 소리와 관련된 방향으로 안내한다.
RECAP 오디오 캡셔닝
RECAP은 입력 소리와 비슷한 설명을 자료 저장소에서 검색해 캡션 생성에 활용하는 방법이다. CLAP 기반 검색과 GPT-2 디코더를 연결하며 교체 가능한 문장 저장소로 새로운 영역의 단서를 제공한다.
WavText5K
WavText5K는 웹의 소리와 설명을 연결한 약 5천 개 쌍의 연구 자료다. 오디오와 자연어의 양방향 검색, 서로 다른 길이의 음향 처리, 여러 캡셔닝 자료의 공동 학습 효과를 다룬다.
AudioCaps
AudioCaps는 AudioSet 소리 구간에 사람이 작성한 자연어 설명을 연결한 오디오 캡셔닝 데이터셋이다. 소리 사건의 범주 이름을 예측하는 것보다 구체적인 소리 내용을 문장으로 설명하는 과제를 다룬다.
WavCaps
WavCaps는 웹의 소리 설명을 걸러내고 정제해 구성한 약한 레이블 오디오 캡셔닝 데이터셋이다. 약 40만 개의 소리·설명 쌍을 제공하며 언어 모델을 자료 처리에 활용한다.
Clotho
Clotho는 소리 내용을 자연어 문장으로 설명하는 오디오 캡셔닝 데이터셋이다. 음성의 발화 내용을 받아쓰는 문제와 구별되며 하나의 소리에 여러 설명 문장을 제공한다.
FSD50K
FSD50K는 Freesound 소리 구간에 사람이 소리 사건 레이블을 붙인 데이터셋이다. 51,197개 구간과 100시간 이상의 음향을 포함하며 AudioSet 온톨로지에서 가져온 200개 범주를 사용한다.
AudioSet
AudioSet은 소리 사건의 계층적 어휘와 사람이 레이블을 붙인 오디오 구간으로 구성된 연구 자료다. 온톨로지의 전체 범주 수와 실제 주석된 소리 범주 수를 구분하며 여러 종류의 일상 소리를 다룬다.
VGGSound
VGGSound는 자연 영상의 소리와 화면 사이 대응을 활용해 구성한 대규모 시청각 데이터셋이다. 음향 인식 모델의 학습·평가와 시청각 분석 연구에 사용되며 수집 단계에서 시각 검증과 오디오 검증을 결합한다.
TAViS
TAViS는 문장을 매개로 ImageBind의 멀티모달 정렬 지식과 SAM2의 분할 지식을 연결하는 시청각 분할 방법이다. 의사 문장의 범주 프로토타입과 모달리티별 세부 정보를 함께 활용한다.
Crab 시청각 이해
Crab은 시간·공간 위치 추정과 추론, 픽셀 수준 이해를 하나의 모델에서 다루는 시청각 통합 학습 방법이다. 과제 사이 협력을 자료와 모델 양쪽에서 명시적으로 구성한다.