문서 둘러보기
모니터 밝기 설정과 휘도
모니터의 밝기 설정값은 실제 휘도와 구별해야 한다. 제품 사양의 니트 수치도 화면 모드와 측정 조건을 맞추어 비교한다.
성도 공명과 입 모양
입과 혀의 모양은 목소리에서 강조되는 주파수를 바꾸어 모음과 음색에 영향을 준다. 입을 크게 벌리는 것만으로 특정 음색이 보장되지는 않는다.
영단어 뜻풀이와 문맥
한국어 번역어의 개수와 영어 단어의 의미 개수는 일치하지 않는다. 품사와 뜻 구분, 예문을 함께 보며 용법을 익힌다.
Windows HDR 보정과 SDR 밝기
HDR 보정용 테스트 패턴과 실제 감상 밝기, HDR 모드에서의 SDR 콘텐츠 밝기 조절을 구분한다.
PC 쿨러와 팬의 냉각 성능과 소음
수냉쿨러와 팬을 비교할 때 냉각 여유, 소음, 풍량과 정압, 외관 및 제어 기능을 구분하는 이유를 설명한다.
랩의 라임과 플로, 워드플레이
랩에서 소리의 반복, 리듬에 얹는 방식, 의미의 중첩과 인상적인 구절이 어떻게 구분되고 함께 쓰이는지 설명한다.
그래픽 드라이버 업데이트와 롤백
그래픽 드라이버를 업데이트하는 이유와 공식 배포 경로, 용도에 따른 드라이버 선택 및 이전 버전으로 되돌리는 기준을 설명한다.
대조 조건부 확산 시청각 분할
대조 조건부 확산 시청각 분할은 잠재 확산 모델로 소리와 최종 분할 지도 사이 관계를 학습하는 접근이다. 조건부 생성과 대조 학습 제약을 결합해 음향 입력이 출력에 기여하도록 모델링한다.
COMBO 시청각 분할
COMBO는 픽셀·모달리티·시간의 관계를 함께 다루는 시청각 분할 트랜스포머다. 시각 특징 생성, 소리와 영상의 양방향 정렬, 프레임 사이 일관성 학습을 각각의 구성 요소로 제안한다.
AVESFormer
AVESFormer는 시청각 분할의 계산 효율을 높이기 위해 프롬프트 쿼리 생성기와 ELF 디코더를 제안하는 트랜스포머다. 교차 어텐션의 동작과 초기 단계의 국소 특징 처리를 함께 다룬다.
Stepping Stones 시청각 학습
Stepping Stones는 시청각 의미 분할을 위치 추정과 의미 이해의 두 단계로 나누는 훈련 전략이다. 소리와 영역의 대응을 배우는 목표와 물체 범주를 이해하는 목표를 점진적으로 다룬다.
AVSegFormer
AVSegFormer는 트랜스포머를 이용해 영상에서 소리 내는 물체를 분할하는 방법이다. 오디오 쿼리와 학습 가능한 쿼리, 시청각 믹서로 관련 시각 특징을 선택하고 중간 마스크에 감독을 제공한다.
LAVISH
LAVISH는 시각 자료로 사전 학습한 ViT의 원래 매개변수를 고정하고 시청각 과제에 적응시키는 어댑터다. 각 층에 작은 학습 가능 구성을 넣고 잠재 토큰으로 두 모달리티의 정보를 융합한다.
CMSF 시청각 분할
CMSF 시청각 분할은 기존 멀티모달 기반 모델을 조합해 소리와 물체 마스크를 연결하는 접근이다. 해당 과제에 특화된 새 주석이나 모델 훈련 없이 시청각 분할을 수행하는 조건을 다룬다.
Ref-AVS
Ref-AVS는 소리와 시각 단서를 담은 자연어 표현으로 지시한 물체를 픽셀 수준에서 분할하는 과제다. 주어진 표현의 시청각 조건을 이용해 영상에서 대상 영역을 찾는다.
AVSBench
AVSBench는 영상 프레임 시점에 소리를 내는 물체의 픽셀 수준 영역을 평가하는 시청각 분할 벤치마크다. 단일 음원의 반지도 설정과 여러 음원의 완전 지도 설정을 제시한다.
어려운 영역 대조 음원 위치 추정
어려운 영역 대조 음원 위치 추정은 구분하기 까다로운 이미지 영역을 자동으로 찾아 대조 학습에 넣는 비지도 접근이다. Localizing Visual Sounds the Hard Way 연구에서 영상의 보이는 음원을 찾고 VGG-SS 평가 자료를 제시한다.
AVE 시청각 사건 위치 추정
AVE 시청각 사건 위치 추정은 영상 구간에서 보이면서 동시에 들리는 사건의 시간적 위치를 찾는 과제다. 지도·약한 감독의 사건 위치 추정과 교차 모달 위치 추정을 평가하는 AVE 데이터셋을 함께 제안한다.
LLP 시청각 영상 파싱
LLP 시청각 영상 파싱은 영상을 시간적 사건 구간으로 나누고 각 사건이 들리는지, 보이는지, 둘 다인지 구분하는 약한 감독 과제다. Look Listen and Parse 데이터셋과 멀티모달 다중 인스턴스 학습 틀을 제시한다.
MUSIC-AVQA
MUSIC-AVQA는 음악 영상의 시각 물체와 소리, 둘의 관계에 관한 질문에 답하는 시청각 질의응답 데이터셋이다. 서로 다른 모달리티와 질문 유형을 다루는 33개 질문 틀과 4만 5천 개 이상의 질의응답 쌍을 포함한다.
EZ-VSL
EZ-VSL은 학습 중 소리 나는 영역과 그렇지 않은 영역을 따로 구성하지 않고 시청각 공간을 정렬하는 비지도 음원 위치 추정 방법이다. 대응 이미지의 적어도 한 위치와 소리가 일치하도록 학습한다.
자기 지도 시청각 객체 표현
자기 지도 시청각 객체 표현은 영상을 개별 시청각 객체의 집합으로 바꾸는 접근이다. 어텐션으로 소리 원천의 위치와 묶음을 찾고 광류로 시간에 걸친 정보를 모아 발화 관련 과제에 활용한다.
시청각 공동 분할 학습
시청각 공동 분할 학습은 자연 영상에서 이미지의 물체 분할과 오디오 음원 분리를 함께 배우는 자기 지도 접근이다. 특징 채널에 의미 범주를 대응시키고 학습 후에는 두 과제를 독립적으로 수행하는 구성을 다룬다.
See Hear and Read
See Hear and Read는 이미지·소리·언어가 공유하는 정렬된 표현을 학습하는 연구다. 이미지와 문장, 이미지와 소리의 쌍으로 학습하고 학습 중 직접 관측하지 않은 문장과 소리 사이 전이도 평가한다.
Visually Indicated Sounds
Visually Indicated Sounds는 물체를 두드리거나 긁는 무음 영상에서 소리를 합성하는 연구다. 영상으로 소리 특징을 예측한 뒤 예제 기반 합성으로 파형을 만드는 절차를 사용한다.
AVTS
AVTS는 소리와 영상의 시간적 동기 여부를 구분하며 두 모달리티의 표현을 배우는 자기 지도 과제다. 교육과정 학습, 음성 사례 선택, 대조 손실의 구성을 함께 다룬다.
주변음 예측 시각 학습
주변음 예측 시각 학습은 영상 프레임과 관련된 소리의 통계적 요약을 예측하며 시각 표현을 배우는 접근이다. 주변 소리를 감독 신호로 삼아 물체와 장면 정보를 학습하는 문제를 다룬다.
동기 예측 다감각 표현
동기 예측 다감각 표현은 영상 프레임과 소리가 시간적으로 정렬됐는지 예측하며 두 정보를 융합해 배우는 자기 지도 접근이다. 학습한 표현을 음원 위치 추정, 시청각 행동 인식, 화면 안팎 음원 분리에 활용한다.
어텐션 기반 시청각 음원 위치 학습
어텐션 기반 시청각 음원 위치 학습은 소리와 시각 장면의 쌍에서 화면 속 소리의 원천을 찾는 비지도 접근이다. 각 모달리티를 처리하는 두 스트림과 어텐션을 결합하며 소량의 감독으로 잘못된 대응을 바로잡는 조건도 다룬다.
Looking to Listen
Looking to Listen은 영상 속 얼굴을 단서로 혼합 소리에서 해당 사람의 발화를 분리하는 시청각 모델이다. 화자별로 별도 모델을 훈련하는 대신 한 번 학습한 모델을 여러 화자에 적용하는 접근을 제시한다.
2-5D Visual Sound
2-5D Visual Sound는 영상의 공간 단서를 이용해 단일 채널 소리를 바이노럴 음향으로 변환하는 연구다. 화면 속 물체와 장면 배치를 음향 복원에 연결하며 원 제목은 2.5D Visual Sound다.
VisualVoice
VisualVoice는 영상 속 얼굴에 대응하는 발화를 배경음이나 다른 화자의 소리에서 분리하는 방법이다. 입술 움직임 외에도 얼굴 외형을 추가 단서로 사용하며 발화 분리와 교차 모달 화자 임베딩을 함께 학습한다.
AVID-CMA
AVID-CMA는 소리와 영상 사이의 인스턴스 구분과 두 특징 공간의 일치 관계를 활용하는 자기 지도 학습 방법이다. 두 모달리티에서 함께 유사한 여러 사례를 양성 집합으로 묶는다.
Co-Separation
Co-Separation은 여러 음원이 이미 섞인 주석 없는 영상에서 물체 수준 소리를 배우는 훈련 방식이다. 비슷한 외형의 물체에서 분리된 소리가 일관되게 식별되도록 하면서 영상 수준 음향도 재현하도록 학습한다.
PixelPlayer
PixelPlayer는 영상에서 소리를 내는 영역을 찾고 입력 음향을 픽셀 위치에 대응하는 성분으로 분리하는 시스템이다. The Sound of Pixels 연구에서 시청각 동기 관계를 이용하는 Mix-and-Separate 학습을 제시한다.
The Sound of Motions
The Sound of Motions는 물체의 시각적 움직임을 명시적으로 이용해 소리 위치 추정과 음원 분리를 수행하는 연구다. Deep Dense Trajectory 모델과 교육과정 학습을 결합한다.
시각 물체 기반 음향 기저 분리
시각 물체 기반 음향 기저 분리는 레이블 없는 영상에서 물체에 대응하는 소리의 주파수 기저를 학습하고 이를 새 영상의 음원 분리에 활용하는 접근이다. 물체가 홀로 등장하거나 단독으로 소리 내는 자료가 없어도 학습하는 문제를 다룬다.
CVRL
CVRL은 같은 짧은 영상에서 얻은 두 증강 클립을 가깝게 학습하는 자기 지도 영상 표현 방법이다. 프레임 사이의 일관성을 유지하는 공간 증강과 시간 간격을 고려한 클립 표본 추출을 함께 다룬다.
Look Listen and Learn
Look Listen and Learn은 레이블 없는 영상의 시각·음향 스트림 사이 대응을 학습 신호로 이용하는 자기 지도 연구다. 원시 영상만으로 시각 네트워크와 오디오 네트워크를 처음부터 학습해 두 표현의 활용 가능성을 살핀다.
Objects that Sound
Objects that Sound는 소리와 이미지를 공통 공간에서 검색하고 이미지 속 소리 내는 물체의 위치를 찾는 자기 지도 연구다. 주석 없는 영상의 시청각 대응을 학습 목표로 이용한다.
SeLaVi
SeLaVi는 소리와 영상의 자연스러운 대응을 활용해 사람의 주석 없이 영상 데이터를 군집화하고 의사 레이블을 만드는 방법이다. 좋은 특징 표현을 얻는 일과 의미 있는 군집을 얻는 일을 구분한다.
SoundNet
SoundNet은 레이블 없는 영상의 소리와 화면 사이 동기 관계를 이용해 소리 표현을 학습하는 방법이다. 시각 인식 모델의 지식을 교사·학생 절차로 음향 모달리티에 전달한다.
XDC
XDC는 한 모달리티에서 얻은 군집을 다른 모달리티의 학습 신호로 사용하는 자기 지도 방법이다. 소리와 영상이 공유하는 의미와 서로 다른 정보를 함께 활용해 표현을 학습한다.
강건한 시청각 인스턴스 구분
강건한 시청각 인스턴스 구분은 소리와 영상의 대조 학습에서 잘못된 양성과 잘못된 음성의 영향을 줄이는 자기 지도 방법이다. 약한 대응에는 가중치를 낮추고 사례 사이 관계에는 부드러운 목표 분포를 사용한다.
RSPNet
RSPNet은 두 영상 클립의 상대 재생 속도와 외형 차이를 함께 학습하는 비지도 영상 표현 방법이다. 절대 속도 레이블의 어려움과 움직임에만 치우친 표현을 다루려 한다.
VideoMoCo
VideoMoCo는 적대적으로 일부 프레임을 제거하는 학습과 메모리 큐의 시간 감쇠를 MoCo에 더한 비지도 영상 표현 방법이다. 프레임 누락에 강건한 인코더와 오래된 키의 표현 차이를 함께 다룬다.
USB4와 eGPU 지원 조건
USB4 외장 그래픽 연결은 PCIe 터널링과 호스트·외장 케이스의 지원 조건을 확인해야 한다. 40Gbps 표기만으로 특정 조합의 호환성이나 성능을 단정하지 않는다.
TCN 시각 표현
TCN은 같은 순간의 여러 시점을 가깝게 하고 시간상 이웃한 관측을 구별하는 거리 학습으로 표현을 배우는 자기 지도 방법이다. 시점에 덜 민감하면서 상호 작용과 자세의 변화를 담는 표현을 로봇 모방에 활용한다.
시간 순환 대응 학습
시간 순환 대응 학습은 미주석 영상에서 순환 일관성이 있는 추적에 유용하도록 특징 지도를 학습하는 자기 지도 대응 방법이다. 학습한 표현의 시공간 최근접 이웃으로 새로운 영상의 대응을 찾는다.
SpeedNet
SpeedNet은 영상이 정상 속도인지 가속 재생인지 구별하는 자기 지도 학습으로 움직임의 자연스러운 빠르기를 추정하는 모형이다. 이진 학습을 바탕으로 다양한 속도와 시공간 표현을 다룬다.
시간 순환 일관성 학습
시간 순환 일관성 학습은 여러 영상의 시점 대응을 미분 가능한 순환 손실로 배우는 자기 지도 방법이다. 프레임별 임베딩의 최근접 이웃을 이용해 영상 사이 동작 단계를 정렬한다.
영상 시간 방향 예측
영상 시간 방향 예측은 영상이 순방향인지 역방향인지 구별하는 감독으로 시간 단서와 시각 표현을 학습하는 접근이다. 물리적 변화뿐 아니라 제작 관행 같은 인공 단서가 판단에 미치는 영향도 살핀다.
Shuffle and Learn
Shuffle and Learn은 영상 프레임들이 올바른 시간 순서인지 판별하도록 합성곱망을 학습하는 비지도 시각 표현 방법이다. 의미 레이블 없이 원시 시공간 신호로 변화에 민감한 특징을 얻으려 한다.
자기 이동 등변 표현
자기 이동 등변 표현은 관측 주체의 특정 움직임에 특징이 예측 가능한 방식으로 반응하도록 학습하는 시각 표현 접근이다. 일인칭 영상과 자기 운동 신호로 합성곱망을 정규화한다.
자기 이동 감독 시각 학습
자기 이동 감독 시각 학습은 이동 주체가 알 수 있는 자신의 움직임 정보를 감독 신호로 사용해 시각 특징을 배우는 접근이다. 물체 범주의 수동 레이블 외에 물리적 관측 변화에서 학습 정보를 얻는다.
Context Encoders
Context Encoders는 이미지의 주변 문맥으로 비어 있는 영역의 내용을 생성하도록 합성곱망을 학습하는 비지도 시각 표현 방법이다. 인페인팅 과제를 통해 외형뿐 아니라 장면의 의미 구조를 담는 특징을 얻으려 한다.
Split-Brain Autoencoders
Split-Brain Autoencoders는 서로 분리된 두 하위망이 한 채널 집합에서 다른 집합을 예측하도록 학습하는 비지도 표현 방법이다. 두 경로가 전체 입력의 특징을 추출하도록 채널 간 예측 과제를 결합한다.
문맥 예측 표현 학습
문맥 예측 표현 학습은 같은 이미지에서 뽑은 두 패치의 상대 위치를 예측하도록 합성곱망을 학습하는 자기 지도 접근이다. 물체와 부분의 공간 관계를 감독 신호로 이용해 시각 표현을 얻는다.
분류 기반 자동 채색
분류 기반 자동 채색은 흑백 사진에 가능한 색을 예측하기 위해 채색을 분류 문제로 다루는 합성곱망 접근이다. 범주 재균형으로 색의 다양성을 높이고 채색을 자기 지도 특징 학습의 사전 과제로도 활용한다.
RotNet 표현 학습
RotNet은 입력 이미지에 적용한 이차원 회전을 예측하도록 합성곱망을 학습하는 자기 지도 표현 학습 방법이다. 사람이 물체 이름을 붙이는 대신 변환 과정에서 얻은 감독으로 의미 특징을 배우려 한다.
직소 퍼즐 표현 학습
직소 퍼즐 표현 학습은 이미지 타일의 올바른 배치를 맞히는 사전 과제로 물체 부분과 공간 관계를 학습하는 자기 지도 접근이다. 초기 처리의 문맥을 타일 하나로 제한하는 CFN 구조를 제안한다.
GroCo
GroCo는 양성과 음성 쌍의 거리 순서를 미분 가능한 정렬망으로 학습하는 자기 지도 목적이다. 양성 거리가 음성보다 뒤에 놓인 정도를 손실로 다루며 지역 이웃의 순서를 개선하려 한다.
시간 대비 비선형 ICA
시간 대비 비선형 ICA는 비정상 시계열의 시간 구간을 구별하는 표현 학습과 선형 ICA를 연결해 비선형 성분을 추정하는 접근이다. 시간에 따른 분포 변화가 식별에 필요한 정보를 제공한다.
식별 가능한 VAE와 비선형 ICA
식별 가능한 VAE와 비선형 ICA는 추가 관측에 조건화된 분해 사전 분포를 이용해 관측과 잠재 변수의 결합 분포를 식별하는 생성 모형 틀이다. 관측 분포를 잘 맞추는 것보다 강한 잠재 구조의 식별을 다룬다.
보조 변수 비선형 ICA
보조 변수 비선형 ICA는 자료와 추가 관측의 실제 결합을 무작위 결합과 구별해 바탕 잠재 변수를 학습하는 틀이다. 시간 인덱스나 시계열 이력 같은 보조 정보로 비선형 성분의 식별 문제를 다룬다.
비지도 분리 표현의 식별 한계
비지도 분리 표현의 식별 한계는 자료를 설명하는 변화 요인을 주석 없이 유일하게 찾아낼 수 있는지에 관한 문제다. 관련 연구는 모형과 자료의 귀납 편향 없이 분리 표현을 학습하는 데 근본적인 한계가 있음을 보인다.
약한 감독의 요인 분리
약한 감독의 요인 분리는 일부 변화 요인을 공유하는 이미지 쌍을 이용해 표현의 변화 요인을 나누는 학습 접근이다. 개별 요인의 정답 레이블 없이 관측의 관계가 제공하는 정보를 활용한다.
DTS Virtual:X와 음원 형식
DTS Virtual:X는 가상 서라운드 처리 기술이다. 같은 효과를 적용해도 입력 채널과 원본 내용이 다르면 결과가 같아진다고 볼 수 없다.
대조 시각 학습의 데이터 조건
대조 시각 학습의 데이터 조건은 사전 학습 자료의 양과 도메인, 품질 및 후속 과제의 세분성이 표현 성능에 미치는 영향을 연구하는 관점이다. 한 정제 자료의 성과를 다른 자료로 확장할 때 필요한 조건을 살핀다.
대조 학습의 생성 과정 역추정
대조 학습의 생성 과정 역추정은 특정 통계 가정 아래 InfoNCE 계열 목적을 학습한 순방향 모형이 관측 자료의 생성 모형을 암시적으로 뒤집는다는 분석이다. 생성 모델링과 비선형 독립 성분 분석의 연결을 다룬다.
잠재 범주 대조 학습 이론
잠재 범주 대조 학습 이론은 의미적으로 비슷한 쌍이 같은 잠재 범주에서 나온다고 가정해 표현의 후속 분류 성능을 분석하는 틀이다. 미주석 자료의 대조 관계와 일부 잠재 범주로 구성한 분류 과제를 연결한다.
InfoMin 뷰 선택
InfoMin 뷰 선택은 과제에 필요한 정보를 유지하면서 두 뷰 사이 상호 정보를 줄이자는 대조 학습의 관점이다. 공통으로 남길 정보와 제거할 정보를 증강 및 뷰 설계에서 구분하도록 한다.
대조 표현의 정렬과 균일성
대조 표현의 정렬과 균일성은 양성 쌍 특징의 가까움과 정규화 특징의 초구 분포를 분석하는 관점이다. 대조 손실이 두 성질을 점근적으로 최적화한다는 분석과 각 성질을 측정하는 지표를 제안한다.
어려운 음성 대조 학습
어려운 음성 대조 학습은 기준 표본과 구별하기 어려운 음성의 난도를 조절해 표본화하는 비지도 표현 학습 접근이다. 참 유사도 레이블 없이도 유용한 어려운 비교를 구성하는 문제를 다룬다.
분리 대조 학습
분리 대조 학습은 InfoNCE 손실의 분모에서 양성 항을 제거해 양성과 음성의 결합 효과를 줄이는 표현 학습 방법이다. 배치 크기에 따른 학습 효율 문제를 다루는 간단한 대조 손실을 제안한다.
편향 보정 대조 학습
편향 보정 대조 학습은 무작위 음성 표본 중 실제로 같은 레이블을 가진 표본이 섞이는 문제를 보정하는 학습 목적이다. 참 레이블을 모르는 조건에서도 같은 의미 표본을 밀어내는 표본화 편향을 다루려 한다.
DirectPred
DirectPred는 입력 통계로 선형 예측기를 직접 설정하는 비대조 자기 지도 학습 접근이다. 단순 선형망의 학습 동역학 분석을 바탕으로 예측기와 그래디언트 중단 등이 표현 붕괴에 미치는 역할을 살핀다.
백색화 자기 지도 학습
백색화 자기 지도 학습은 잠재 특징의 백색화에 기반한 손실로 표현 붕괴를 피하려는 비대조 표현 학습 접근이다. 음성 표본 없이 같은 이미지의 여러 양성 쌍을 활용할 수 있도록 설계됐다.
AMDIM
AMDIM은 공통 문맥에서 얻은 여러 뷰의 특징 사이 상호 정보를 최대화하는 자기 지도 표현 학습 접근이다. 여러 관측에 걸쳐 영향을 주는 물체나 사건 같은 고수준 요인을 표현에 담으려 한다.
SEER
SEER는 정제되지 않은 대규모 이미지에서 감독 없이 시각 표현을 사전 학습하는 연구 모형이다. 정돈된 평가 자료에 한정된 자기 지도 학습이 실제의 다양한 영상 모음에서도 확장되는지 살핀다.
단렌즈와 줌렌즈의 차이
줌렌즈도 같은 초점거리의 단렌즈와 비슷한 화각으로 촬영할 수 있다. 최대 조리개와 크기, 화질까지 같다는 뜻은 아니다.
LOCA 사전 학습
LOCA는 패치 군집으로 얻은 조밀 의사 레이블과 상대 위치 예측을 결합하는 위치 인식 자기 지도 학습 방법이다. 물체 부분과 공간 배치를 학습해 의미 분할에 전이할 표현을 만들려 한다.
VICRegL
VICRegL은 전역 특징과 지역 특징에 VICReg 기준을 함께 적용하는 자기 지도 표현 학습 방법이다. 전체 이미지의 불변 표현과 위치별 특징 사이의 상충을 다루며 분류와 조밀 예측의 표현을 함께 학습한다.
EsViT
EsViT는 희소 자기 주의를 사용하는 다단계 구조와 지역 매칭 사전 과제를 결합한 자기 지도 비전 트랜스포머다. 계산 복잡도를 줄이면서 세밀한 지역 대응 표현을 학습하려 한다.
Leopart
Leopart는 조밀한 이미지 패치 군집 사전 과제로 물체 부분의 공간 표현을 학습하는 자기 지도 분할 접근이다. 비전 트랜스포머의 물체 위치 단서와 조밀 손실을 연결해 의미적으로 구별되는 공간 토큰을 만들려 한다.
DenseCL 플러스플러스
DenseCL 플러스플러스는 조밀 음성 쌍과 뷰 사이의 대응 및 재구성 과제를 살펴 DenseCL의 학습 방식과 목적을 개선하는 표현 학습 방법이다. 공간 위치 정보가 필요한 후속 과제의 표현 품질을 다룬다.
조밀 대조 표현의 정렬과 균일성
조밀 대조 표현의 정렬과 균일성은 지역 특징의 대응과 표현 분포가 후속 예측 성능에 어떻게 연결되는지 분석하는 연구 주제다. 조밀 대조 학습의 성질을 이해하기 위해 정렬 및 균일성 관점을 확장한다.
FLSL
FLSL은 비전 트랜스포머로 임베딩과 군집을 함께 학습하는 두 수준 특징 군집 자기 지도 방법이다. 인스턴스 전체의 표현에 치우친 학습을 조밀 예측 과제에 맞추려는 접근이다.
MSVQ
MSVQ는 여러 증강 뷰와 두 모멘텀 인코더가 만든 유사도 관계를 학생망에 전달하는 자기 지도 학습 프레임워크다. 실제로는 관련 있는 표본을 음성으로 취급하는 문제를 다루기 위해 부드러운 감독을 구성한다.
AdaSim
AdaSim은 잠재 공간의 추정 품질에 따라 이웃 부트스트래핑을 조절하는 자기 증류 기반 표현 학습 접근이다. 대조 학습에서 유용한 최근접 이웃 활용을 자기 증류에 그대로 옮길 때 생기는 성능 저하와 붕괴를 다룬다.
평균 이동 자기 지도 학습
평균 이동 자기 지도 학습은 각 이미지의 임베딩을 이웃 임베딩의 평균에 가까워지도록 학습하는 표현 학습 방법이다. 표본이나 군집을 서로 밀어내는 대조 없이 이미지를 묶는 접근을 제안한다.
NNCLR
NNCLR은 같은 이미지의 변환뿐 아니라 잠재 공간에서 가까운 다른 표본도 양성 쌍으로 사용하는 자기 지도 대조 학습 방법이다. 정해 둔 증강보다 다양한 의미 변화를 학습에 제공하려 한다.
PCL 표현 학습
PCL은 프로토타입을 잠재 변수로 두고 군집 추정과 대조 학습을 교대로 수행하는 비지도 표현 학습 방법이다. 개별 이미지를 구별하는 학습에 자료의 의미 구조를 함께 반영하려 한다.
SCAN 이미지 군집
SCAN은 자기 지도 특징 학습과 학습 가능한 군집화를 분리해 주석 없이 이미지를 의미 있는 묶음으로 나누는 접근이다. 먼저 얻은 의미 특징을 사전으로 사용해 저수준 단서에 의존하는 군집 학습을 줄이려 한다.
군집 표현 공동 자기 레이블링
군집 표현 공동 자기 레이블링은 레이블과 입력 자료의 식별자 사이 정보를 최대화하는 학습으로 군집 할당과 표현 학습을 함께 다루는 접근이다. 교차 엔트로피 최소화를 최적 수송 문제로 확장해 퇴화한 해를 피하려 한다.
IIC 군집 학습
IIC는 짝지어진 표본의 범주 할당 사이 상호 정보를 최대화해 주석 없이 분류와 분할을 학습하는 군집 목적이다. 고차원 표현을 별도 군집화하는 대신 학습망이 범주 할당을 직접 출력한다.
PiCIE
PiCIE는 색과 밝기 변화에 대한 불변성과 기하 변환에 대한 등변성을 군집 학습에 넣는 비지도 의미 분할 방법이다. 단순 픽셀 특징 유사도에 치우치지 않고 고수준 의미를 학습하려 한다.
MaskDistill 물체 마스크
MaskDistill 물체 마스크는 자료에서 생성한 물체 마스크를 군집화해 초기 분할망을 학습하고 저품질 마스크를 걸러 최종 모형을 만드는 비지도 의미 분할 접근이다. 물체 마스크를 픽셀 묶음의 사전 정보로 이용한다.
STEGO
STEGO는 비지도 특징의 의미 관계를 보존하면서 조밀한 표현을 작은 군집으로 증류해 의미 레이블을 만드는 분할 프레임워크다. 특징 학습과 군집의 조밀화를 분리하고 대조 손실로 두 요구를 연결한다.
FreeSOLO
FreeSOLO는 주석 없이 범주 비의존 인스턴스 분할을 학습하는 자기 지도 프레임워크다. SOLO 구조를 바탕으로 복잡한 장면의 물체를 발견하는 위치 인식 사전 학습을 제안한다.