문서 둘러보기
CapStARE
CapStARE는 얼굴 특징의 부분과 전체 관계를 캡슐 구조로 처리하고 짧은 관찰 구간의 순차 정보를 결합하는 시선 추정 모델이다. 고정한 ConvNeXt 특징 추출기와 두 GRU 디코더를 사용한다.
개방 환경의 경량 시선 추정
개방 환경의 경량 시선 추정은 안경과 마스크, 어두운 조명처럼 학습 환경과 다른 조건에서도 시선을 추정하려는 접근이다. 영상 증강과 여러 보조 학습 목표를 결합한 MobileNet 기반 연구가 제안됐다.
OpenGaze
OpenGaze는 일반 카메라 영상을 사용하는 외형 기반 시선 추정과 상호작용을 위한 소프트웨어 도구다. 시선 추정의 정확도뿐 아니라 사용자 인터페이스에서 쓸 수 있는 조건을 살피는 연구와 함께 제시됐다.
RT-GENE
RT-GENE는 자연스러운 환경에서 시선을 추정하기 위한 데이터셋과 신경망 방법이다. 촬영 거리가 멀어질 때의 낮은 눈 영상 해상도와 다양한 머리 자세를 함께 다룬다.
ARGaze
ARGaze는 착용자 시점의 영상에서 현재 시선 위치를 순차적으로 예측하는 모델이다. 현재 영상 특징과 최근에 추정한 시선 이력을 함께 사용하며 미래 프레임을 보지 않는 온라인 설정을 다룬다.
ST-WSGE
ST-WSGE는 이차원 시선 대상 라벨을 활용해 실제 환경의 삼차원 시선 추정을 학습하는 약한 지도 방식이다. 삼차원 의사 라벨을 생성하는 자기 학습과 이미지·영상 자료를 함께 다루는 구조를 결합한다.
GazeTR
GazeTR은 시선 추정에 트랜스포머를 적용하는 연구다. 영상 패치를 직접 처리하는 방식과 합성곱 신경망에 트랜스포머를 결합하는 방식을 비교한다.
MPIIGaze
MPIIGaze는 일상적인 노트북 사용 중 수집한 얼굴 영상과 시선 위치를 담은 데이터셋이다. 실험실에서 정해진 자세만 촬영한 자료와 달리 조명과 외형이 달라지는 환경의 시선 추정을 연구하는 데 쓰인다.
L2CS-Net
L2CS-Net은 제약이 적은 영상에서 시선 방향을 예측하는 합성곱 신경망 모델이다. 시선의 각 각도를 따로 회귀하고 각도별 손실을 두어 학습하는 접근을 제시한다.
GazeCLR
GazeCLR은 시선 추정에 필요한 불변성과 등변성을 함께 학습하는 대조적 표현 방식이다. 여러 관점의 자료와 시선 방향을 바꾸지 않는 증강을 구분해 사용한다.
ETH-XGaze
ETH-XGaze는 큰 머리 자세 변화와 다양한 시선 방향을 포함한 시선 추정 데이터셋이다. 110명의 참가자에게서 백만 장이 넘는 고해상도 영상을 수집하고 표준화한 평가 절차를 제시한다.
Gaze360
Gaze360은 다양한 머리 자세와 거리에서 3차원 시선을 추정하기 위한 데이터셋과 모델 연구다. 시간 정보를 활용하고 예측 시선의 불확실성도 출력하는 방법을 제시한다.
SemiSupCon 음악 표현
SemiSupCon 음악 표현은 음악 지식을 담은 라벨을 자기 지도 대조 학습과 함께 사용하는 방식이다. 지도 및 자기 지도 목표를 결합해 학습한 유사도가 음악 과제에 필요한 정보를 반영하도록 한다.
음원 연결 대조 학습
음원 연결 대조 학습은 곡의 일부와 그 안에서 추출한 보컬 또는 악기 소리를 연결해 음악 표현을 배우는 방식이다. 어떤 음원을 선택하느냐에 따라 표현이 담는 특징을 유도한다.
COLA 오디오 표현
COLA 오디오 표현은 같은 녹음에서 얻은 소리 구간을 가깝게, 다른 녹음의 구간을 멀게 학습하는 대조적 사전 학습 방식이다. 다양한 오디오 분류에 전이할 수 있는 범용 임베딩을 목표로 한다.
CLMR
CLMR은 원시 음악 오디오와 여러 증강을 이용하는 자기 지도 대조 학습 방식이다. 음악 라벨 없이 표현을 배운 뒤 음악 분류와 다른 자료로의 전이를 평가한다.
CAV-MAE Sync
CAV-MAE Sync는 오디오를 시간 시퀀스로 처리해 영상 프레임과 더 세밀하게 정렬하는 표현 학습 방식이다. 목표별 전역 토큰과 학습 가능한 레지스터 토큰을 추가해 학습 충돌과 위치 표현을 다룬다.
LG-CAV-MAE
LG-CAV-MAE는 사전 학습된 텍스트 인코더를 추가해 오디오와 영상, 텍스트를 함께 배우는 표현 모델이다. 영상에서 자동 생성한 설명을 소리와 대조해 학습 자료를 구성한다.
CAV-MAE
CAV-MAE는 대조 학습과 가림 복원 학습을 결합한 시청각 표현 모델이다. 영상과 오디오의 공동 표현을 학습하면서 두 모달리티의 대응도 함께 정렬한다.
SSAST
SSAST는 라벨 없는 오디오로 Audio Spectrogram Transformer를 사전 학습하는 방식이다. 가려진 스펙트로그램 패치에 대한 판별 및 생성 과제를 함께 사용한다.
HTS-AT
HTS-AT는 계층 구조와 토큰 의미 모듈을 결합한 오디오 트랜스포머다. 소리의 종류를 분류하는 것과 사건이 발생한 시간을 찾는 것을 함께 다룬다.
PaSST
PaSST는 학습 중 스펙트로그램 패치 일부를 제거하는 Patchout으로 오디오 트랜스포머를 효율화하는 방식이다. 처리할 토큰 수를 줄이면서 불완전한 입력에서도 분류하도록 학습한다.
PANNs
PANNs는 AudioSet으로 사전 학습한 신경망을 여러 오디오 패턴 인식 과제에 전이하는 접근이다. 다양한 합성곱 구조를 비교하고 파형과 로그 멜 스펙트로그램을 함께 쓰는 모델을 제시한다.
AST 오디오 분류
AST 오디오 분류는 스펙트로그램에서 소리의 라벨을 예측하는 어텐션 기반 모델이다. 합성곱 없이 오디오 분류를 수행하는 Audio Spectrogram Transformer를 제안한다.
BYOL-A
BYOL-A는 오디오 증강에 견고하고 여러 측면의 정보를 담는 범용 표현을 학습하는 방식이다. BYOL 기반 학습에 오디오 증강과 국소 및 전역 특징을 결합한 인코더를 사용한다.
HEAR 오디오 표현 평가
HEAR 오디오 표현 평가는 미세 조정 없이 여러 후속 과제에 일반화하는 오디오 임베딩을 비교하는 벤치마크다. 음성, 환경음, 음악을 포함하는 다양한 영역을 다룬다.
MSM-MAE
MSM-MAE는 가려진 오디오 스펙트로그램 패치를 복원해 범용 표현을 학습하는 방식이다. 입력 자체를 학습 신호로 사용하며 마스크드 오토인코더로 보이는 패치의 정보를 인코딩한다.
시청각 마스크드 오토인코더
시청각 마스크드 오토인코더는 영상에 함께 들어 있는 시각 정보와 소리를 활용해 표현을 사전 학습하는 접근이다. 가림 복원 틀 안에서 여러 구조와 학습 목표를 비교한다.
Audio-MAE
Audio-MAE는 오디오 스펙트로그램의 일부 패치를 가리고 복원하는 자기 지도 표현 학습 방식이다. 보이는 패치만 인코딩하고 디코더가 마스크 토큰과 문맥을 이용해 입력을 재구성한다.
BEATs
BEATs는 음향 토크나이저와 오디오 자기 지도 모델을 번갈아 개선하는 사전 학습 방식이다. 가려진 구간의 이산 라벨을 예측하며 소리의 상위 의미를 담는 표현을 학습한다.
SpeechT5
SpeechT5는 음성과 텍스트에 공통 인코더 디코더를 사용하는 사전 학습 틀이다. 모달리티별 전처리 및 후처리 신경망과 교차 모달 벡터 양자화로 두 표현을 연결한다.
SpeechUT
SpeechUT는 숨은 음성 단위를 매개로 음성 인코더와 텍스트 디코더를 연결하는 사전 학습 방식이다. 공유 단위 인코더를 두고 짝이 없는 음성과 텍스트 자료를 함께 활용한다.
vq-wav2vec
vq-wav2vec은 음성 구간을 이산 표현으로 바꾸는 자기 지도 학습 방식이다. 문맥 예측을 학습하면서 연속적인 표현을 양자화해 이산 입력을 요구하는 언어 모델 기법을 음성에 적용한다.
wav2vec
wav2vec은 라벨 없는 원시 오디오에서 표현을 배우는 음성 인식용 사전 학습 방식이다. 다층 합성곱 신경망을 잡음 대조 이진 분류 과제로 학습하고 그 표현을 음향 모델 학습에 활용한다.
UniSpeech
UniSpeech는 라벨 있는 음성과 라벨 없는 음성을 함께 사용하는 표현 사전 학습 방식이다. 음소 CTC 지도 학습과 음소 정보를 고려한 대조적 자기 지도 학습을 다중 과제로 결합한다.
UniSpeech-SAT
UniSpeech-SAT는 자기 지도 음성 학습에서 화자 특징의 표현을 강화하는 방식이다. 발화 단위 대조 손실과 겹친 발화를 만드는 혼합 증강을 HuBERT 틀에 결합한다.
HuBERT
HuBERT는 오프라인 군집화로 얻은 목표 라벨을 가려진 음성 구간에서 예측하는 자기 지도 표현 학습 방식이다. 연속적인 음성에서 음향과 언어의 구조를 함께 배우는 것을 목표로 한다.
SUPERB 음성 벤치마크
SUPERB 음성 벤치마크는 하나의 공유 음성 표현이 여러 후속 과제에서 얼마나 유용한지 평가하는 틀이다. 공유 모델을 고정하고 가벼운 과제별 예측기를 학습하는 구성을 제시한다.
wav2vec 2
wav2vec 2는 음성의 잠재 표현 일부를 가리고 대조 과제를 학습하는 자기 지도 음성 표현 방식이다. 라벨 없는 음성으로 사전 학습한 뒤 전사된 음성으로 미세 조정해 음성 인식에 활용한다.
WavLM
WavLM은 음성 인식뿐 아니라 화자와 발화의 여러 정보를 활용하는 작업을 위한 자기 지도 음성 표현 모델이다. 마스킹된 음성 예측과 잡음 제거를 함께 사전 학습한다.
S3QA
S3QA는 깨끗한 음성과 손상된 음성의 WavLM 임베딩 거리를 학습 목표로 삼는 음질 평가 방식이다. 학습된 모델은 손상된 음성만 받아 그 거리값을 예측한다.
불확실성 기반 MOS 예측
불확실성 기반 MOS 예측은 사전 학습된 자기 지도 음성 모델의 불확실성을 음질의 대리 신호로 활용하는 연구다. 대규모 청취 평가 라벨이 부족한 조건에서 점수와의 상관관계를 분석한다.
MOSA-Net
MOSA-Net은 여러 음성 평가 지표를 동시에 예측하는 다목적 모델이다. 서로 다른 영역의 특징을 활용하며 객관적 지표 예측에서 배운 표현을 주관적 품질 평가와 음성 향상으로 확장한다.
NISQA
NISQA는 통신망에서 생기는 왜곡에 초점을 둔 음성 품질 예측 모델이다. 합성곱과 자기 어텐션을 사용하며 전체 품질뿐 아니라 잡음, 음색 변화, 불연속, 소리 크기의 네 측면을 예측한다.
DNSMOS P835
DNSMOS P835는 깨끗한 원본과 직접 대조하지 않고 잡음 억제 음성의 품질을 예측하는 지표다. 음성 품질, 배경 잡음 품질, 전체 품질을 각각 출력하도록 사람의 평가에서 학습한다.
UTMOS
UTMOS는 음성 샘플의 평균 의견 점수를 예측하는 앙상블 시스템이다. 자기 지도 음성 모델을 개선한 강한 학습기와 그 특징에서 점수를 예측하는 약한 학습기를 결합한다.
생성 음악 FAD 보정
생성 음악 FAD 보정은 프레셰 오디오 거리를 음악 생성 평가에 적용할 때 나타나는 표본 수 편향과 임베딩 및 기준 자료 선택 문제를 다루는 연구다. 점수의 안정성과 청감 품질의 관계를 함께 살핀다.
프레셰 음악 거리
프레셰 음악 거리는 생성한 기호 음악과 기준 기호 음악의 임베딩 분포 사이 거리를 평가하는 지표다. FMD로 줄여 부르며 오디오 파형 대신 추상적인 음악 특징을 다루는 표현을 비교한다.
ViSQOL v3
ViSQOL v3는 기준 오디오와 평가 오디오를 비교해 지각적인 음질을 추정하는 도구다. 음성용 ViSQOL과 일반 오디오용 ViSQOLAudio의 개선을 통합한 공개 구현이다.
프레셰 오디오 거리
프레셰 오디오 거리는 평가할 오디오 묶음과 기준 오디오 묶음의 임베딩 분포를 비교하는 지표다. FAD로 줄여 부르며 각 출력에 정확히 대응하는 원본 녹음 없이 음악 향상 결과를 평가하도록 제안됐다.
SampleRNN
SampleRNN은 오디오 샘플을 하나씩 생성하는 무조건 신경망 오디오 모델이다. 자기회귀 다층 퍼셉트론과 상태를 갖는 순환 신경망을 계층적으로 결합해 긴 시간의 변화를 다룬다.
WaveGAN
WaveGAN은 원시 오디오 파형을 비지도 방식으로 생성하는 생성적 적대 신경망이다. 약 1초 길이의 소리 조각에서 전체적인 일관성을 갖춘 파형을 만드는 문제를 연구한다.
DDSP
DDSP는 고전적인 디지털 신호 처리 요소를 미분 가능한 학습 과정에 연결하는 접근이다. 해석 가능한 합성 모듈과 신경망을 결합해 소리 생성과 제어를 다룬다.
GANSynth
GANSynth는 주파수 영역의 로그 크기와 순간 주파수를 모델링하는 적대적 오디오 합성 방식이다. 병렬 생성의 효율과 세밀한 파형의 일관성을 함께 다루며 NSynth에서 평가한다.
Parallel WaveNet
Parallel WaveNet은 학습된 WaveNet에서 병렬 순방향 생성기를 학습하는 음성 합성 방식이다. 확률 밀도 증류를 이용해 순차적인 샘플 생성의 부담을 줄이는 것을 목표로 한다.
WaveGrad
WaveGrad는 데이터 밀도의 기울기를 추정해 잡음을 음성 파형으로 바꾸는 조건부 생성 모델이다. 멜 스펙트로그램을 조건으로 가우시안 백색 잡음을 반복적으로 정제한다.
DiffWave
DiffWave는 백색 잡음을 단계적으로 변환해 오디오 파형을 만드는 확산 확률 모델이다. 멜 스펙트로그램 조건의 보코딩, 클래스 조건 생성, 무조건 파형 생성을 다룬다.
Parallel WaveGAN
Parallel WaveGAN은 다중 해상도 스펙트로그램 손실과 적대적 손실로 비자기회귀 WaveNet을 학습하는 파형 생성 방식이다. 교사 모델의 밀도 증류 없이 작고 빠른 합성기를 학습하는 것을 목표로 한다.
Grad-TTS
Grad-TTS는 잡음을 점차 변환해 멜 스펙트로그램을 생성하는 확산 기반 텍스트 음성 합성 모델이다. 단조 정렬 탐색으로 텍스트와 표현을 연결하고 점수 기반 디코더를 사용한다.
VITS
VITS는 조건부 변분 오토인코더와 정규화 플로, 적대적 학습을 결합한 텍스트 음성 합성 방식이다. 확률적인 지속시간 예측으로 같은 텍스트가 서로 다른 리듬으로 발화되는 경우를 모델링한다.
WaveGlow
WaveGlow는 멜 스펙트로그램을 조건으로 음성 파형을 생성하는 플로 기반 신경망이다. Glow와 WaveNet의 아이디어를 결합하며 자기회귀 생성 없이 파형 합성을 수행한다.
MelGAN
MelGAN은 멜 스펙트로그램 등 조건에서 오디오 파형을 합성하는 생성적 적대 신경망이다. 비자기회귀 완전 합성곱 구조로 파형 생성을 다루며 청감 평가와 구성 요소 분석을 함께 제시한다.
HiFi-GAN 보코더
HiFi-GAN 보코더는 멜 스펙트로그램을 원시 음성 파형으로 변환하는 생성적 적대 신경망이다. 여러 주기와 여러 규모의 판별기로 음성의 반복 구조와 연속적인 패턴을 함께 학습한다.
Glow-TTS
Glow-TTS는 외부 정렬기 없이 텍스트와 음성 표현의 단조 정렬을 찾는 플로 기반 음성 합성 모델이다. 플로의 성질과 동적 계획법을 결합해 병렬 음성 합성을 학습한다.
FastSpeech 2
FastSpeech 2는 실제 목표 음성을 직접 학습하고 지속시간, 음높이, 에너지를 조건으로 사용하는 비자기회귀 음성 합성 방식이다. 같은 문장이 여러 운율로 발화될 수 있다는 특성을 다룬다.
HiFi-GAN 음성 향상
HiFi-GAN 음성 향상은 잡음과 잔향 등으로 손상된 녹음 음성의 청감 품질을 높이는 방식이다. 순방향 WaveNet 구조와 시간 및 시간 주파수 영역의 다중 규모 판별기를 사용한다.
FastSpeech
FastSpeech는 음소의 지속시간을 이용해 멜 스펙트로그램을 병렬 생성하는 음성 합성 방식이다. 트랜스포머 기반 순방향 네트워크와 길이 조절기를 사용해 입력과 출력의 길이를 맞춘다.
Tacotron 2
Tacotron 2는 문자에서 멜 스펙트로그램을 예측한 뒤 수정된 WaveNet 보코더로 파형을 만드는 음성 합성 구조다. 음향 특징 예측과 파형 합성을 두 부분으로 연결한다.
CPU 코어 수와 게임 성능
코어 수가 늘어도 게임 프레임이 비례해 늘지 않는 이유를 병렬 처리, 순차 작업과 병목의 관점에서 설명한다.
Tacotron
Tacotron은 문자에서 스펙트로그램을 예측하고 이를 파형으로 변환하는 텍스트 음성 합성 모델이다. 텍스트와 오디오의 쌍으로 어텐션 기반 시퀀스 모델을 처음부터 학습한다.
WaveNet
WaveNet은 이전 오디오 샘플들을 조건으로 다음 샘플의 확률분포를 예측하는 자기회귀 생성 모델이다. 압축된 기호 대신 원시 오디오 파형을 직접 모델링한다.
AudioLM
AudioLM은 오디오를 이산 토큰으로 변환하고 그 순서를 언어 모델처럼 학습하는 생성 방식이다. 긴 구조를 담는 표현과 소리의 세부를 복원하는 코드를 결합해 짧은 오디오 뒤에 이어질 내용을 생성한다.
VALL-E
VALL-E는 텍스트 음성 합성을 신경망 오디오 코덱의 이산 코드를 예측하는 조건부 언어 모델링 문제로 구성한 방식이다. 짧은 음향 프롬프트를 이용하는 새로운 화자의 음성 합성을 연구한다.
HiFi-Codec
HiFi-Codec은 그룹 잔차 벡터 양자화로 적은 수의 코드북을 사용하는 오디오 코덱이다. 생성 모델의 중간 표현으로 쓰이는 오디오 코드의 복원 품질과 처리 부담을 함께 다룬다.
L3AC
L3AC은 하나의 양자화기와 경량 구조를 사용하는 신경망 오디오 코덱이다. 합성곱 네트워크, 국소 트랜스포머, 여러 시간 규모의 음향 변화를 다루는 TConv를 탐구한다.
Descript Audio Codec
Descript Audio Codec은 음성, 환경음, 음악을 이산 코드로 압축하는 신경망 오디오 코덱이다. 개선된 RVQGAN을 이용해 고해상도 오디오를 생성 모델이 다룰 수 있는 표현으로 변환한다.
SNAC
SNAC은 서로 다른 시간 해상도의 양자화기를 사용해 오디오를 이산 코드로 압축하는 다중 규모 신경망 코덱이다. 잔차 벡터 양자화를 확장해 여러 시간 규모의 소리 구조를 표현한다.
EnCodec
EnCodec은 양자화한 잠재 공간을 사용하는 신경망 오디오 코덱이다. 스트리밍 인코더와 디코더를 함께 학습하며, 복원 음질과 학습 안정성을 위한 판별기 및 손실 균형 장치를 사용한다.
SoundStream
SoundStream은 음성, 음악, 일반 오디오를 압축하는 신경망 코덱이다. 완전 합성곱 인코더와 디코더, 잔차 벡터 양자화기를 함께 학습해 소리를 압축된 표현으로 변환한다.
FoleyBench
FoleyBench는 화면에 보이는 사건과 원인 관계가 있는 효과음 생성을 평가하는 벤치마크다. 영상, 대응 오디오, 텍스트 설명으로 구성한 5천 개의 묶음을 제공한다.
MMAudio
MMAudio는 영상과 선택적인 텍스트 조건으로 소리를 생성하는 공동 학습 방식이다. 텍스트 오디오 데이터와 영상 데이터를 함께 활용하고 프레임 수준의 조건부 동기화 모듈을 둔다.
HunyuanVideo-Foley
HunyuanVideo-Foley는 텍스트와 영상을 함께 받아 장면에 맞는 소리를 생성하는 확산 방식이다. 오디오 표현 정렬과 두 갈래의 오디오 영상 융합, 텍스트 의미 주입을 결합한다.
Seeing and Hearing
Seeing and Hearing은 이미 학습된 영상 생성 모델과 오디오 생성 모델을 공통 표현으로 연결하는 방식이다. 영상과 소리를 함께 만들거나 한쪽 정보를 이용해 다른 쪽 생성을 유도하는 문제를 다룬다.
Diff-Foley
Diff-Foley는 대조적 시청각 사전 학습과 잠재 확산을 결합해 영상에 맞는 소리를 생성하는 방식이다. 소리의 의미뿐 아니라 영상과의 시간 정렬을 고려한 특징을 생성 조건으로 사용한다.
SpecVQGAN
SpecVQGAN은 영상 특징을 조건으로 스펙트로그램 코드북의 토큰을 생성해 소리로 바꾸는 방식이다. 영상 프레임에서 얻은 정보를 이용해 시각 내용과 관련된 소리를 합성한다.
AutoFoley
AutoFoley는 영상의 동작과 프레임 사이 관계를 분석해 시간에 맞는 효과음을 합성하는 딥러닝 방식이다. 빠른 움직임을 다루기 위한 보간과 시간 관계 네트워크를 활용한다.
Foley Music
Foley Music은 악기를 연주하는 무음 영상에서 음악을 생성하는 시스템이다. 몸의 주요 지점과 MIDI 사건을 중간 표현으로 사용해 움직임을 음악 사건의 순서로 변환한다.
FolAI
FolAI는 영상의 움직임에서 소리의 시간 구조를 얻고, 사용자가 지정한 의미 조건으로 효과음을 만드는 생성 방식이다. 언제 울릴지와 어떤 소리를 낼지를 두 단계로 나누어 조절한다.
FoleyCrafter
FoleyCrafter는 무음 영상에 맞는 효과음을 생성하는 방식이다. 사전 학습된 텍스트 오디오 모델에 영상 의미를 연결하는 어댑터와 발생 시점을 조절하는 시간 제어기를 결합한다.
Stable Audio 시간 조건 생성
Stable Audio 시간 조건 생성은 텍스트와 시간 임베딩을 이용해 길이가 다른 음악 및 효과음을 생성하는 방식이다. 완전 합성곱 변분 오토인코더의 잠재 표현에서 확산을 수행한다.
Mousai
Mousai는 텍스트 설명에서 분 단위의 스테레오 음악을 생성하는 두 단계 잠재 확산 모델이다. 긴 시간 범위의 음악 구조를 다루는 생성 방식을 연구한다.
Mustango
Mustango는 화음과 박, 템포와 조성 같은 음악적 조건을 문장으로 지정해 음악을 생성하는 확산 기반 시스템이다. 음악 영역 지식을 반영한 안내 모듈을 사용한다.
Tango 2
Tango 2는 생성 오디오가 문장의 사건과 시간 순서를 더 잘 따르도록 선호 최적화를 적용하는 연구다. 좋은 출력과 일부 개념이 빠지거나 순서가 다른 출력을 합성해 비교 학습한다.
Tango 오디오 생성
Tango 오디오 생성은 지시 조정한 언어 모델을 텍스트 인코더로 사용하는 잠재 확산 기반 생성 방식이다. 문장 설명에 따라 오디오를 만들며 음압 수준을 고려한 자료 증강을 활용한다.
AudioLDM
AudioLDM은 텍스트 설명을 조건으로 일반 오디오를 생성하는 잠재 확산 모델이다. CLAP의 오디오 및 텍스트 임베딩을 학습 시점과 생성 시점에 각각 활용한다.
AudioLDM 2
AudioLDM 2는 발화와 음악, 효과음의 생성에 공통된 학습 방식을 적용하려는 오디오 생성 프레임워크다. AudioMAE로 얻은 일반 표현을 중간 언어로 사용한다.
MusicGen
MusicGen은 압축된 음악 토큰의 여러 스트림을 하나의 언어 모델로 예측하는 음악 생성 모델이다. 텍스트나 선율 특징을 조건으로 모노 및 스테레오 음악을 생성한다.
MusicLM
MusicLM은 자연어 설명을 조건으로 음악 오디오를 생성하는 모델이다. 계층적인 시퀀스 모델링을 사용하며 문장과 선율을 함께 조건으로 주는 생성도 다룬다.
PC 화면을 휴대전화에 표시하기
원격 데스크톱과 게임 스트리밍으로 PC 화면을 휴대전화에서 보고 조작하는 원리와 연결 조건을 설명한다.
BACHI
BACHI는 기호 음악의 화음을 경계 탐지와 여러 속성의 반복 판단으로 인식하는 모델이다. 화음의 근음과 성질, 베이스 및 전위를 단계적으로 다룬다.