문서 둘러보기
Claude Code의 데스크톱과 터미널 실행
Claude Code의 기반 엔진과 실행 화면을 구분하고, 데스크톱 일반 채팅, Code 탭, 터미널 CLI의 차이를 설명한다.
OAT 시선 경로 예측
OAT는 방해 물체가 있는 장면에서 목표를 찾는 시선을 물체 단위의 주시 순서로 예측하는 트랜스포머다. 각 물체의 위치·외형과 목표 정보를 인코딩해 다음에 볼 물체를 예측한다.
ScanVLA
ScanVLA는 자연어로 설명된 목표 물체를 찾는 시선 경로를 예측하는 시각 언어 모델이다. 이전 주시 위치를 직접 활용하는 디코더와 고정한 분할 LoRA로 세밀한 위치 정보를 보완한다.
IOR-ROI LSTM
IOR-ROI LSTM은 이미 본 영역의 정보와 다음 관심 영역 선택을 두 LSTM으로 나누어 주시 경로를 생성하는 모델이다. 합성곱 특징과 시각 작업 기억을 모사하는 재귀 처리를 결합한다.
PathGAN
PathGAN은 생성적 적대 학습으로 사진에 대한 주시 경로를 만드는 모델이다. 영상 특징과 순환 계층을 사용하는 생성기·판별기로 다양한 시선 순서를 학습한다.
시각 질의응답의 주시 경로 예측
시각 질의응답의 주시 경로 예측 연구는 질문을 수행하는 동안의 주시 위치와 지속 시간 및 순서를 모델링한다. 과제 안내 지도와 심층 강화 학습으로 질문별 시선 패턴을 예측하는 방법을 제안했다.
GazeXplain
GazeXplain은 시선 경로와 그 주시에 대한 자연어 설명을 함께 예측하는 모델이다. 시선 위치·시간의 예측에 언어 설명을 연결하고 두 출력의 의미적 일관성을 학습한다.
SALYPATH
SALYPATH는 현저성 모델에서 얻은 특징으로 사진의 주시 순서를 예측하는 딥러닝 방법이다. 어느 위치가 주의를 끄는지에 관한 표현을 활용해 시선 경로를 만드는 접근이다.
UMSS
UMSS는 정보 시각화 자료의 현저성과 주시 순서를 함께 예측하는 모델이다. 제목, 라벨과 데이터 같은 요소별로 관찰 시간에 따른 현저성 지도를 구하고 그 지도에서 시선 경로를 확률적으로 만든다.
EyeFormer
EyeFormer는 소수의 사용자 주시 경로를 바탕으로 개인화한 시선 순서를 예측하는 모델이다. 트랜스포머 정책 네트워크와 심층 강화 학습을 사용해 주시 위치와 지속 시간을 다룬다.
Gazeformer
Gazeformer는 목표 물체의 이름을 언어 모델로 표현해 시각 탐색의 주시 순서를 예측하는 트랜스포머 모델이다. 학습 때 탐색하지 않은 목표에 대한 시선을 예측하는 ZeroGaze 설정을 다룬다.
FN-AUC
FN-AUC는 현저성 예측 평가에서 음성 표본 선택을 통해 공간적 편향을 다루려는 AUC 계열 지표다. 기존 shuffled AUC에도 남는 중앙 및 주변부 편향을 검토한 연구에서 제안됐다.
현저성 예측 평가
현저성 예측 평가는 모델이 사람의 주시 위치를 얼마나 잘 설명하는지 측정하는 과정이다. 정답의 표현과 지도 전처리, 위치 편향 처리 및 평가 지표에 따라 같은 모델의 점수가 다르게 나타날 수 있다.
DINet
DINet은 서로 다른 팽창률의 합성곱을 병렬로 사용해 현저성 예측의 다중 크기 문맥을 얻는 모델이다. 픽셀별 회귀에만 의존하지 않고 확률 분포 사이의 거리를 학습 목표로 활용한다.
MSI-Net
MSI-Net은 다중 크기의 영상 특징과 전역 장면 정보를 결합하는 현저성 예측 모델이다. 영상 분류로 사전 학습한 합성곱 인코더와 여러 팽창률의 병렬 모듈을 활용한다.
EML-NET
EML-NET은 서로 다른 사전 학습 신경망의 특징을 확장 가능한 인코더에서 결합하는 현저성 예측 모델이다. 인코더와 디코더를 나누어 학습하며 다양한 시각 지식을 활용하는 구성을 제안한다.
TempSAL
TempSAL은 정지 영상을 관찰하는 동안 시간 구간별로 달라지는 현저성 지도를 예측하는 모델이다. 구간별 주의 지도를 학습하고 이를 결합해 전체 현저성 예측을 조절한다.
두 경로 기반 동적 현저성 예측
두 경로 기반 동적 현저성 예측은 공간 정보와 시간 정보를 각각 처리하고 결합하는 신경망 접근이다. 정지 영상의 외형과 동영상의 움직임을 서로 보완적인 단서로 활용한다.
DAVE 시청각 현저성
DAVE는 영상과 오디오의 특징을 이용해 동적인 현저성 지도를 예측하는 모델이다. 같은 인코더·디코더 틀의 기준선을 비교하며 소리 단서가 시선 예측에 주는 영향을 연구한다.
STAViS
STAViS는 동영상의 시각 정보와 소리 정보를 결합해 사람의 시각적 주의 분포를 예측하는 신경망이다. 소리의 발생 위치와 시각 현저성을 함께 다루어 최종 현저성 지도를 만든다.
계층적 영역 적응 현저성 예측
계층적 영역 적응 현저성 예측은 여러 추상화 수준의 중간 지도에 학습 지도를 주는 동영상 모델이다. 자료 사이의 공통 특징을 배우는 영역 적응과 개별 자료에 맞추는 특화를 구분해 연구한다.
동영상 현저성의 시간 재귀 비교
동영상 현저성의 시간 재귀 비교 연구는 정지 영상 모델에 시간 정보를 더하는 두 방법을 비교한다. 합성곱 LSTM을 추가하는 방식과 내부 합성곱 상태를 지수 이동 평균하는 단순한 방식을 다룬다.
DHF1K
DHF1K는 동영상 장면을 자유롭게 볼 때의 사람 주시를 예측하는 벤치마크다. 다양한 장면과 움직임, 물체 종류 및 배경 복잡도를 포함하는 1000개 영상 시퀀스로 구성됐다.
ViNet-S와 ViNet-A
ViNet-S와 ViNet-A는 동영상 현저성 예측의 크기와 특징 구성을 개선한 모델이다. 경량 디코더를 사용하는 변형과 시공간 행동 위치 추정 특징을 사용하는 변형을 함께 연구한다.
STSANet
STSANet은 삼차원 합성곱 특징에 시공간 자기 주의를 결합한 동영상 현저성 예측 모델이다. 서로 다른 시간의 특징 관계와 다중 수준 문맥을 함께 처리한다.
ViNet
ViNet은 동영상의 시각 정보로 현저성 지도를 예측하는 완전 합성곱 인코더·디코더 모델이다. 시청각 자료에서도 음성 입력 없이 강한 기준선을 만들며 오디오가 실제 예측에 기여하는지 검토한 연구다.
TranSalNet
TranSalNet은 합성곱 신경망과 트랜스포머를 결합해 시각 현저성을 예측하는 모델이다. 멀리 떨어진 영상 영역의 문맥을 자기 주의로 다루어 주시 분포 예측을 보완하려 한다.
현저성 예측 구조의 단순화
현저성 예측 구조의 단순화 연구는 입력 특징, 다중 수준 통합, 출력 모듈과 손실 함수를 나눠 분석하는 접근이다. 간결한 인코더·디코더인 SimpleNet과 혼합 가우스 분포를 예측하는 MDNSal을 제안했다.
TASED-Net
TASED-Net은 여러 동영상 프레임의 시공간 특징을 모아 한 프레임의 현저성 지도를 만드는 삼차원 완전 합성곱 모델이다. 공간 해상도를 복원하는 과정에서 시간 정보를 함께 집계한다.
THTD-Net
THTD-Net은 시공간 트랜스포머가 추출한 특징의 시간 차원을 디코더에서 점진적으로 줄이는 동영상 현저성 예측 모델이다. 여러 디코더를 두지 않고 시간 특징을 집계하는 구성을 제안한다.
UniAR
UniAR은 영상에 대한 사람의 주의와 주관적 반응을 함께 예측하는 멀티모달 모델이다. 자연 사진, 웹페이지와 그래픽 디자인을 대상으로 열지도, 관찰 순서와 평가 점수 등 서로 다른 출력을 다룬다.
UniST
UniST는 동영상의 시선 분포 예측과 현저한 물체 검출을 연결하는 통합 트랜스포머 프레임워크다. 여러 해상도의 시공간 정보를 결합하고 과제별 디코더로 서로 다른 출력을 만든다.
Saliency Attentive Model
Saliency Attentive Model은 합성곱 LSTM과 주의 메커니즘으로 현저성 지도를 반복해서 정제하는 모델이다. 사람의 시선이 영상 중앙에 모이는 경향을 다루기 위해 가우스 함수 기반 사전 지도도 학습한다.
UNISAL
UNISAL은 정지 영상과 동영상의 현저성 예측을 함께 학습하는 모델이다. 자료 종류와 데이터셋 사이의 영역 차이를 다루는 구성으로 하나의 매개변수 집합을 여러 현저성 과제에 활용한다.
AiR 주의 추론 프레임워크
AiR은 과제의 답뿐 아니라 답에 도달하는 추론 과정에서 주의가 어떻게 이동하는지 분석하는 프레임워크다. 사람의 시선과 답의 정오 자료를 수집하고 추론 단계에 따른 주의 학습을 다룬다.
다중 수준 특징 기반 현저성 예측
다중 수준 특징 기반 현저성 예측은 합성곱 신경망의 마지막 계층만 쓰지 않고 여러 깊이의 특징을 결합하는 접근이다. 저수준과 고수준 특징의 가중 결합 및 사전 정보 학습을 포함한 구조가 제안됐다.
COCO-Search18
COCO-Search18은 사진에서 목표 물체를 찾는 사람의 주시를 기록한 시각 탐색 데이터셋이다. 자유 관찰과 달리 찾을 물체 종류가 주어진 상황의 목표 지향적 시선 행동을 다룬다.
목표 부재 시선 탐색 모델
목표 부재 시선 탐색 모델은 찾으려는 물체가 사진 안에 없을 때의 주시 순서와 탐색 종료를 예측하는 접근이다. 중심와 특징 지도라는 상태 표현을 모방 학습과 역강화 학습에 활용한다.
Human Attention Transformer
Human Attention Transformer는 목표를 찾는 시각 탐색과 과제 없는 자유 관찰의 주시 순서를 하나의 모델로 예측하는 구조다. 트랜스포머와 단순화한 중심와 표현을 결합해 각 주시의 조밀한 열지도를 출력한다.
SALICON
SALICON은 마우스와 다중 해상도 표시를 이용해 영상 탐색 중의 시각적 주의 정보를 수집하는 연구와 데이터셋이다. 전용 시선 추적 장치 없이 큰 규모의 주의 자료를 모으는 접근을 제시했다.
Deep Gaze I
Deep Gaze I는 물체 인식용으로 사전 학습한 신경망의 특징을 시선의 주시 위치 예측에 활용하는 초기 딥러닝 현저성 모델이다. 시선 자료만으로 큰 특징 추출기를 처음부터 학습하는 부담을 줄이는 전이 접근이다.
DeepGaze 3점5 VL
DeepGaze 3점5 VL은 시선의 주시 순서를 텍스트 토큰의 자기회귀 예측으로 표현하는 모델이다. 좌표를 어휘에 대응시켜 사전 학습한 시각 언어 모델을 활용하며 과제 지시나 관찰자 조건을 프롬프트로 제공한다.
DeepGaze IIE
DeepGaze IIE는 여러 영상 특징 추출기를 결합해 시선의 공간 분포를 예측하는 현저성 모델이다. 다른 데이터셋에서도 예측 확률이 지나치게 확신하지 않도록 신뢰도 보정을 함께 다룬다.
DeepGaze III
DeepGaze III는 정지 영상을 자유롭게 볼 때 이어지는 주시 위치를 예측하는 모델이다. 영상 내용과 이전 주시 이력을 결합해 다음에 어느 위치를 볼지 확률적으로 표현한다.
자기회귀 확산 기반 장기 시선 생성
자기회귀 확산 기반 장기 시선 생성은 동영상에 대한 연속 시선 궤적을 긴 구간으로 이어 만드는 접근이다. 현저성을 반영한 시각 잠재 표현을 조건으로 좌표와 세밀한 시각 정보를 생성한다.
DiffGaze
DiffGaze는 360도 영상을 보는 사람의 연속적인 시선 시퀀스를 생성하는 확산 모델이다. 영상 특징을 조건으로 시간과 공간의 의존성을 모델링해 다양한 눈 움직임을 생성한다.
GazeD
GazeD는 RGB 영상 한 장에서 삼차원 시선과 사람의 자세를 함께 추정하는 확산 모델이다. 영상의 이차원 문맥을 조건으로 여러 가능한 시선·자세 가설을 생성한다.
ST-DiffEye
ST-DiffEye는 연속적인 눈 움직임 궤적과 이산적인 주시 순서를 함께 학습하는 확산 기반 시선 생성 방법이다. 관찰자와 시행마다 다른 시선을 하나의 정답으로만 다루지 않고 확률적인 과정으로 모델링한다.
GOO 시선 물체 데이터셋
GOO는 소매점 환경에서 사람이 바라보는 물체를 예측하기 위한 데이터셋이다. 시선이 닿는 픽셀만 찾는 과제에서 나아가 대상 물체의 경계 상자를 예측하는 과제를 다룬다.
확산 보정 기반 반지도 시선 따라가기
확산 보정 기반 반지도 시선 따라가기는 시각 질의응답 모델의 열지도를 확산 모델로 다듬어 학습 주석으로 사용하는 방법이다. 제한된 사람 주석과 라벨 없는 영상의 정보를 함께 활용한다.
ChildPlay-Hand
ChildPlay-Hand는 어린이와 성인의 자연스러운 영상에서 손과 물체의 상호작용을 연구하는 데이터셋이다. 손별 조작 주석과 사람·물체 경계 상자, 기존 ChildPlay의 시선 라벨을 함께 활용한다.
GFIE
GFIE는 실내 환경에서 이차원과 삼차원 시선 따라가기를 평가하는 데이터셋이다. 깊이 카메라와 레이저 거리 측정기를 이용해 시선 대상의 위치 주석을 반자동으로 수집하는 방식을 제시한다.
VSGaze
VSGaze는 시선 따라가기와 사회적 시선 예측 자료의 주석 형식을 통합한 데이터셋이다. 여러 사람의 시선 대상과 사회적 시선 라벨을 시간 정보를 이용해 함께 예측하는 연구에 쓰인다.
Sharingan 시선 따라가기
Sharingan은 사진 속 사람이 바라보는 이차원 위치를 예측하는 트랜스포머 구조다. 사람별 열지도를 출력하는 방식과 여러 사람의 시선 좌표를 한 번에 회귀하는 방식을 비교한다.
ChildPlay
ChildPlay는 어린이가 놀거나 성인과 상호작용하는 영상의 시선 행동을 연구하는 데이터셋이다. 성인 위주 자료에서 학습한 모델이 어린이의 시선도 잘 추정하는지 살피는 데 초점을 둔다.
GazeFollow
GazeFollow는 사진 속 사람이 바라보는 위치를 추정하는 시선 따라가기 과제의 벤치마크 데이터셋이다. 사진을 보는 관찰자의 시선을 예측하는 일반적인 시각적 현저성 과제와 구별된다.
PaGE 시선 대상 추정
PaGE는 장면 특징과 머리 특징의 상호작용을 모델링하는 시선 대상 추정 방법이다. 큰 교사 모델로부터 더 가벼운 학생 모델을 학습시키는 지식 증류를 결합한다.
물체 관계 기반 시선 대상 검출
물체 관계 기반 시선 대상 검출은 사람이 바라보는 위치뿐 아니라 그 위치의 물체 종류와 영역을 함께 추정하는 접근이다. 장면의 머리와 물체를 검출하고 사람과 대상 사이의 관계를 연결한다.
VideoAttentionTarget
VideoAttentionTarget은 영상 속 사람이 바라보는 대상을 주석으로 담은 데이터셋이다. 시간에 따라 시선 대상이 바뀌거나 화면 밖으로 나가는 상황의 주의 대상 추정을 연구하는 데 쓰인다.
Gaze-LLE
Gaze-LLE는 장면에서 사람이 바라보는 대상을 추정하는 트랜스포머 방식이다. 고정한 DINOv2 인코더로 장면 특징을 추출하고 사람별 위치 프롬프트를 이용해 시선 대상을 예측한다.
CapStARE
CapStARE는 얼굴 특징의 부분과 전체 관계를 캡슐 구조로 처리하고 짧은 관찰 구간의 순차 정보를 결합하는 시선 추정 모델이다. 고정한 ConvNeXt 특징 추출기와 두 GRU 디코더를 사용한다.
개방 환경의 경량 시선 추정
개방 환경의 경량 시선 추정은 안경과 마스크, 어두운 조명처럼 학습 환경과 다른 조건에서도 시선을 추정하려는 접근이다. 영상 증강과 여러 보조 학습 목표를 결합한 MobileNet 기반 연구가 제안됐다.
OpenGaze
OpenGaze는 일반 카메라 영상을 사용하는 외형 기반 시선 추정과 상호작용을 위한 소프트웨어 도구다. 시선 추정의 정확도뿐 아니라 사용자 인터페이스에서 쓸 수 있는 조건을 살피는 연구와 함께 제시됐다.
RT-GENE
RT-GENE는 자연스러운 환경에서 시선을 추정하기 위한 데이터셋과 신경망 방법이다. 촬영 거리가 멀어질 때의 낮은 눈 영상 해상도와 다양한 머리 자세를 함께 다룬다.
ARGaze
ARGaze는 착용자 시점의 영상에서 현재 시선 위치를 순차적으로 예측하는 모델이다. 현재 영상 특징과 최근에 추정한 시선 이력을 함께 사용하며 미래 프레임을 보지 않는 온라인 설정을 다룬다.
ST-WSGE
ST-WSGE는 이차원 시선 대상 라벨을 활용해 실제 환경의 삼차원 시선 추정을 학습하는 약한 지도 방식이다. 삼차원 의사 라벨을 생성하는 자기 학습과 이미지·영상 자료를 함께 다루는 구조를 결합한다.
GazeTR
GazeTR은 시선 추정에 트랜스포머를 적용하는 연구다. 영상 패치를 직접 처리하는 방식과 합성곱 신경망에 트랜스포머를 결합하는 방식을 비교한다.
MPIIGaze
MPIIGaze는 일상적인 노트북 사용 중 수집한 얼굴 영상과 시선 위치를 담은 데이터셋이다. 실험실에서 정해진 자세만 촬영한 자료와 달리 조명과 외형이 달라지는 환경의 시선 추정을 연구하는 데 쓰인다.
L2CS-Net
L2CS-Net은 제약이 적은 영상에서 시선 방향을 예측하는 합성곱 신경망 모델이다. 시선의 각 각도를 따로 회귀하고 각도별 손실을 두어 학습하는 접근을 제시한다.
GazeCLR
GazeCLR은 시선 추정에 필요한 불변성과 등변성을 함께 학습하는 대조적 표현 방식이다. 여러 관점의 자료와 시선 방향을 바꾸지 않는 증강을 구분해 사용한다.
ETH-XGaze
ETH-XGaze는 큰 머리 자세 변화와 다양한 시선 방향을 포함한 시선 추정 데이터셋이다. 110명의 참가자에게서 백만 장이 넘는 고해상도 영상을 수집하고 표준화한 평가 절차를 제시한다.
Gaze360
Gaze360은 다양한 머리 자세와 거리에서 3차원 시선을 추정하기 위한 데이터셋과 모델 연구다. 시간 정보를 활용하고 예측 시선의 불확실성도 출력하는 방법을 제시한다.
SemiSupCon 음악 표현
SemiSupCon 음악 표현은 음악 지식을 담은 라벨을 자기 지도 대조 학습과 함께 사용하는 방식이다. 지도 및 자기 지도 목표를 결합해 학습한 유사도가 음악 과제에 필요한 정보를 반영하도록 한다.
음원 연결 대조 학습
음원 연결 대조 학습은 곡의 일부와 그 안에서 추출한 보컬 또는 악기 소리를 연결해 음악 표현을 배우는 방식이다. 어떤 음원을 선택하느냐에 따라 표현이 담는 특징을 유도한다.
COLA 오디오 표현
COLA 오디오 표현은 같은 녹음에서 얻은 소리 구간을 가깝게, 다른 녹음의 구간을 멀게 학습하는 대조적 사전 학습 방식이다. 다양한 오디오 분류에 전이할 수 있는 범용 임베딩을 목표로 한다.
CLMR
CLMR은 원시 음악 오디오와 여러 증강을 이용하는 자기 지도 대조 학습 방식이다. 음악 라벨 없이 표현을 배운 뒤 음악 분류와 다른 자료로의 전이를 평가한다.
CAV-MAE Sync
CAV-MAE Sync는 오디오를 시간 시퀀스로 처리해 영상 프레임과 더 세밀하게 정렬하는 표현 학습 방식이다. 목표별 전역 토큰과 학습 가능한 레지스터 토큰을 추가해 학습 충돌과 위치 표현을 다룬다.
LG-CAV-MAE
LG-CAV-MAE는 사전 학습된 텍스트 인코더를 추가해 오디오와 영상, 텍스트를 함께 배우는 표현 모델이다. 영상에서 자동 생성한 설명을 소리와 대조해 학습 자료를 구성한다.
CAV-MAE
CAV-MAE는 대조 학습과 가림 복원 학습을 결합한 시청각 표현 모델이다. 영상과 오디오의 공동 표현을 학습하면서 두 모달리티의 대응도 함께 정렬한다.
SSAST
SSAST는 라벨 없는 오디오로 Audio Spectrogram Transformer를 사전 학습하는 방식이다. 가려진 스펙트로그램 패치에 대한 판별 및 생성 과제를 함께 사용한다.
HTS-AT
HTS-AT는 계층 구조와 토큰 의미 모듈을 결합한 오디오 트랜스포머다. 소리의 종류를 분류하는 것과 사건이 발생한 시간을 찾는 것을 함께 다룬다.
PaSST
PaSST는 학습 중 스펙트로그램 패치 일부를 제거하는 Patchout으로 오디오 트랜스포머를 효율화하는 방식이다. 처리할 토큰 수를 줄이면서 불완전한 입력에서도 분류하도록 학습한다.
PANNs
PANNs는 AudioSet으로 사전 학습한 신경망을 여러 오디오 패턴 인식 과제에 전이하는 접근이다. 다양한 합성곱 구조를 비교하고 파형과 로그 멜 스펙트로그램을 함께 쓰는 모델을 제시한다.
AST 오디오 분류
AST 오디오 분류는 스펙트로그램에서 소리의 라벨을 예측하는 어텐션 기반 모델이다. 합성곱 없이 오디오 분류를 수행하는 Audio Spectrogram Transformer를 제안한다.
BYOL-A
BYOL-A는 오디오 증강에 견고하고 여러 측면의 정보를 담는 범용 표현을 학습하는 방식이다. BYOL 기반 학습에 오디오 증강과 국소 및 전역 특징을 결합한 인코더를 사용한다.
HEAR 오디오 표현 평가
HEAR 오디오 표현 평가는 미세 조정 없이 여러 후속 과제에 일반화하는 오디오 임베딩을 비교하는 벤치마크다. 음성, 환경음, 음악을 포함하는 다양한 영역을 다룬다.
MSM-MAE
MSM-MAE는 가려진 오디오 스펙트로그램 패치를 복원해 범용 표현을 학습하는 방식이다. 입력 자체를 학습 신호로 사용하며 마스크드 오토인코더로 보이는 패치의 정보를 인코딩한다.
시청각 마스크드 오토인코더
시청각 마스크드 오토인코더는 영상에 함께 들어 있는 시각 정보와 소리를 활용해 표현을 사전 학습하는 접근이다. 가림 복원 틀 안에서 여러 구조와 학습 목표를 비교한다.
Audio-MAE
Audio-MAE는 오디오 스펙트로그램의 일부 패치를 가리고 복원하는 자기 지도 표현 학습 방식이다. 보이는 패치만 인코딩하고 디코더가 마스크 토큰과 문맥을 이용해 입력을 재구성한다.
BEATs
BEATs는 음향 토크나이저와 오디오 자기 지도 모델을 번갈아 개선하는 사전 학습 방식이다. 가려진 구간의 이산 라벨을 예측하며 소리의 상위 의미를 담는 표현을 학습한다.
SpeechT5
SpeechT5는 음성과 텍스트에 공통 인코더 디코더를 사용하는 사전 학습 틀이다. 모달리티별 전처리 및 후처리 신경망과 교차 모달 벡터 양자화로 두 표현을 연결한다.
SpeechUT
SpeechUT는 숨은 음성 단위를 매개로 음성 인코더와 텍스트 디코더를 연결하는 사전 학습 방식이다. 공유 단위 인코더를 두고 짝이 없는 음성과 텍스트 자료를 함께 활용한다.
vq-wav2vec
vq-wav2vec은 음성 구간을 이산 표현으로 바꾸는 자기 지도 학습 방식이다. 문맥 예측을 학습하면서 연속적인 표현을 양자화해 이산 입력을 요구하는 언어 모델 기법을 음성에 적용한다.
wav2vec
wav2vec은 라벨 없는 원시 오디오에서 표현을 배우는 음성 인식용 사전 학습 방식이다. 다층 합성곱 신경망을 잡음 대조 이진 분류 과제로 학습하고 그 표현을 음향 모델 학습에 활용한다.
UniSpeech
UniSpeech는 라벨 있는 음성과 라벨 없는 음성을 함께 사용하는 표현 사전 학습 방식이다. 음소 CTC 지도 학습과 음소 정보를 고려한 대조적 자기 지도 학습을 다중 과제로 결합한다.
UniSpeech-SAT
UniSpeech-SAT는 자기 지도 음성 학습에서 화자 특징의 표현을 강화하는 방식이다. 발화 단위 대조 손실과 겹친 발화를 만드는 혼합 증강을 HuBERT 틀에 결합한다.
HuBERT
HuBERT는 오프라인 군집화로 얻은 목표 라벨을 가려진 음성 구간에서 예측하는 자기 지도 표현 학습 방식이다. 연속적인 음성에서 음향과 언어의 구조를 함께 배우는 것을 목표로 한다.
SUPERB 음성 벤치마크
SUPERB 음성 벤치마크는 하나의 공유 음성 표현이 여러 후속 과제에서 얼마나 유용한지 평가하는 틀이다. 공유 모델을 고정하고 가벼운 과제별 예측기를 학습하는 구성을 제시한다.
wav2vec 2
wav2vec 2는 음성의 잠재 표현 일부를 가리고 대조 과제를 학습하는 자기 지도 음성 표현 방식이다. 라벨 없는 음성으로 사전 학습한 뒤 전사된 음성으로 미세 조정해 음성 인식에 활용한다.
WavLM
WavLM은 음성 인식뿐 아니라 화자와 발화의 여러 정보를 활용하는 작업을 위한 자기 지도 음성 표현 모델이다. 마스킹된 음성 예측과 잡음 제거를 함께 사전 학습한다.