문서 둘러보기
조합 가능 확산 모형
조합 가능 확산 모형은 영상의 서로 다른 구성 요소를 나타내는 확산 모형들을 결합하는 생성 접근이다. 확산 모형을 에너지 기반 모형으로 해석해 분포를 조합하고 새로운 개념 결합을 다룬다.
Uni-ControlNet
Uni-ControlNet은 지역 조건과 전역 조건을 한 모형에서 조합하는 텍스트 이미지 생성 제어 틀이다. 고정한 사전 학습 확산 모형 위에 두 어댑터를 미세 조정해 다양한 제어를 다룬다.
UniControl
UniControl은 여러 시각 조건을 이용하는 이미지 생성 과제를 한 확산 모형에 통합하는 방법이다. 과제를 인식하는 하이퍼네트워크로 모형을 조절하면서 언어 요청도 함께 반영한다.
IP-Adapter
IP-Adapter는 사전 학습 텍스트 이미지 확산 모형에 이미지 프롬프트를 더하는 가벼운 어댑터다. 텍스트와 이미지 특징의 교차 주의를 분리해 두 종류의 입력을 함께 사용하는 생성을 다룬다.
T2I-Adapter
T2I-Adapter는 고정한 텍스트 이미지 생성 모형의 내부 지식과 외부 제어 신호를 연결하는 가벼운 학습 모듈이다. 조건별 어댑터로 색과 구조를 제어하고 여러 조건의 조합 및 일반화를 다룬다.
ControlNet
ControlNet은 큰 사전 학습 텍스트 이미지 확산 모형에 공간 조건을 추가하는 신경망 구조다. 기존 모형을 고정하고 새 학습 경로를 연결해 윤곽과 깊이, 분할 지도, 사람 자세 같은 입력을 반영한다.
GLIGEN
GLIGEN은 텍스트와 상자 위치 같은 그라운딩 조건을 함께 반영하는 이미지 생성 방법이다. 사전 학습 확산 모형을 고정하고 게이트로 연결한 새 층을 학습해 기존 개념 지식을 활용한다.
BoxDiff
BoxDiff는 사용자가 지정한 상자나 낙서 형태의 공간 조건을 따라 이미지를 생성하도록 확산 과정을 안내하는 방법이다. 추가 학습 없이 상자 안과 밖, 모서리에 대한 제약을 잡음 제거 단계에 적용한다.
FreeControl
FreeControl은 안내 이미지의 구조를 반영하도록 확산 생성을 제어하는 추가 학습 없는 방법이다. 구조 안내와 외관 안내를 나누며 여러 조건과 모형 구조, 체크포인트를 함께 지원하는 방향을 취한다.
Attend-and-Excite
Attend-and-Excite는 생성 중 교차 주의를 안내해 텍스트에 나온 대상이 빠지지 않도록 돕는 확산 이미지 생성 방법이다. 추론 시점에 대상 토큰의 활성화를 강화해 요청의 의미 충실도를 높이는 방향을 취한다.
구조화 확산 안내
구조화 확산 안내는 문장의 언어 구조를 확산 모형의 교차 주의에 반영해 여러 물체와 속성의 조합을 개선하는 방법이다. 추가 학습 표본 없이 기존 Stable Diffusion의 표현을 조정하는 접근을 취한다.
DSG 생성 평가
DSG 생성 평가는 텍스트 이미지 일치를 검사하는 질문들을 의존 그래프로 구성해 일관성을 높이는 방법이다. 요청을 빠뜨리거나 중복하지 않는 원자적 질문과 답 사이의 논리 관계를 다룬다.
VPEval
VPEval은 텍스트 이미지 생성 결과를 시각 프로그램으로 평가하는 틀이다. 하나의 점수 모형에 모든 판단을 맡기기보다 기능별 시각 모듈을 호출하고 시각 및 텍스트 설명을 제공한다.
ConceptMix
ConceptMix는 조합할 시각 개념 수를 바꾸어 텍스트 이미지 생성의 난이도를 조절하는 벤치마크다. 개념을 표본 추출해 요청을 만들고 개념별 질문으로 생성 이미지의 조건 충족을 검사한다.
TIFA
TIFA는 텍스트 요청에서 질문과 정답을 만들고 생성 이미지에 대한 시각 질의응답으로 충실도를 평가하는 방법이다. 원본 참조 없이 물체와 개수 등 요청의 세부 조건이 나타났는지 확인한다.
T2I-CompBench 플러스플러스
T2I-CompBench 플러스플러스는 여러 물체의 속성과 관계, 개수 및 복잡한 장면 조합을 평가하는 텍스트 이미지 생성 벤치마크다. 구성적 요청의 여러 범주를 나누고 검출 및 다중모달 평가를 이용한다.
GenEval
GenEval은 생성 이미지에 텍스트로 요청한 물체와 개수, 위치, 색이 나타났는지 세부적으로 평가하는 틀이다. 객체 검출 등 판별 모형을 이용해 구성적 조건의 충족 여부를 살핀다.
HPS v2
HPS v2는 생성 이미지에 대한 사람의 선호를 예측하도록 CLIP을 미세 조정한 점수 모형이다. 다양한 출처의 이미지를 비교한 HPD v2 자료와 평가용 텍스트 요청의 설계를 함께 다룬다.
VisionReward
VisionReward는 이미지와 동영상 생성에 대한 세밀한 사람 선호를 계층적으로 평가하는 틀이다. 여러 평가 항목을 선형 가중으로 결합해 해석 가능한 선호 학습과 다차원 일관성 최적화를 다룬다.
MPS 이미지 선호
MPS 이미지 선호는 생성 이미지의 미적 특성과 의미 일치, 세부 품질, 전체 평가를 나누어 학습하는 다차원 선호 모형이다. CLIP에 선호 조건 모듈을 더하고 관점별 사람의 선택을 이용한다.
PickScore
PickScore는 텍스트 요청에 따라 생성한 이미지에 대한 사람의 선호를 예측하는 CLIP 기반 점수 함수다. 실제 이용자가 이미지 생성 결과를 고르는 Pick-a-Pic 자료로 학습하며 결과의 순위 선택에 활용한다.
ImageReward
ImageReward는 텍스트에서 생성한 이미지에 대한 사람의 선호를 학습하는 보상 모형이다. 평가와 순위 비교로 수집한 전문가 피드백을 이용하며 확산 모형을 점수에 맞춰 조정하는 ReFL도 함께 제시한다.
Q-Bench
Q-Bench는 다중모달 기반 모형의 저수준 시각 능력을 지각과 설명, 품질 평가로 나누어 검사하는 벤치마크다. 외관 속성 질문과 전문가 설명, 사람의 품질 점수에 대한 평가를 함께 다룬다.
Q-Align
Q-Align은 다중모달 모형에 숫자 점수 대신 텍스트로 정의한 평가 등급을 학습시키는 시각 평가 방법이다. 이미지 품질과 미적 평가, 동영상 품질을 다루며 등급 확률로 세밀한 점수를 얻는다.
Q-Instruct
Q-Instruct는 이미지의 저수준 시각 특성을 이해하고 설명하도록 다중모달 모형을 개선하는 지시 학습 자료다. 사람의 상세한 시각 피드백을 다양한 질문과 응답 형식으로 바꾸어 학습에 이용한다.
DiffVQA
DiffVQA는 사전 학습 확산 모형을 특징 추출기로 적응시켜 동영상 품질을 평가하는 방법이다. 크기 조절 및 잘라내기 경로에서 의미와 왜곡 특징을 얻고 Mamba 기반 시간 표현과 결합한다.
VQT 품질 평가
VQT 품질 평가는 시간적으로 드물게 나타나는 심한 왜곡과 함께 존재하는 여러 왜곡을 포착하는 동영상 평가 모형이다. 희소 시간 주의로 주요 프레임을 선택하고 다른 희소도를 가진 여러 경로를 결합한다.
dipIQ
dipIQ는 품질 차이를 구별할 수 있는 이미지 쌍을 자동으로 구성하고 순위 학습으로 무참조 품질을 추정하는 방법이다. 사람의 주관 점수 없이 학습하며 쌍마다 지각적 불확실성 수준을 함께 고려한다.
SLIQUE
SLIQUE는 내용과 왜곡, 밝기나 선명도 같은 외관 정보를 함께 학습하는 무참조 이미지 품질 모형이다. 시각 대조 학습과 시각 언어 학습을 결합하며 세 종류의 텍스트 설명이 붙은 자료를 이용한다.
HiRQA
HiRQA는 순위와 대조 학습을 결합해 품질을 반영하는 계층적 표현을 얻는 자기지도 평가 방법이다. 합성 왜곡으로 학습하며 사용 시에는 원본 참조나 추가 입력 없이 평가 이미지 한 장을 이용한다.
MDFS 품질 평가
MDFS 품질 평가는 사전 학습된 시각 모형의 다중 척도 특징과 통계 모형을 결합하는 무참조 평가 방법이다. 사람의 평점 자료 대신 고품질 이미지 집합의 특징 분포와 평가 이미지의 분포 차이를 이용한다.
MetaIQA
MetaIQA는 여러 왜곡의 품질 평가 과제에서 공통 사전 지식을 메타 학습하는 무참조 이미지 품질 방법이다. 얻은 품질 사전 모형을 목표 과제에 미세 조정해 새로운 왜곡에 적응하도록 한다.
RankIQA
RankIQA는 품질의 상대 순서를 아는 합성 왜곡 영상으로 순위 신경망을 학습하는 무참조 평가 방법이다. 학습한 표현을 단일 이미지의 품질 점수를 예측하는 CNN으로 옮겨 미세 조정한다.
Re-IQA
Re-IQA는 이미지 내용과 품질의 상보적인 표현을 별도 부호화기로 학습하는 접근이다. 비지도 학습으로 얻은 높은 수준 및 낮은 수준의 특징을 선형 회귀에 사용해 품질 점수를 예측한다.
UNIQUE 품질 평가
UNIQUE는 합성 왜곡과 실제 왜곡을 함께 다루며 평가의 불확실성을 고려하는 무참조 이미지 품질 모형이다. 자료 안에서 이미지 쌍의 품질 우위 확률을 계산해 학습하고 불확실성 추정에 제약을 둔다.
CONTRIQUE
CONTRIQUE는 왜곡 종류와 정도를 구분하는 대조 학습으로 이미지 품질 표현을 얻는 방법이다. 학습한 합성곱망을 고정한 뒤 선형 회귀기로 표현을 무참조 품질 점수에 대응시킨다.
DisCoVQA
DisCoVQA는 동영상의 시간적 왜곡과 프레임 내용에 따른 중요도를 트랜스포머로 다루는 품질 평가 모형이다. 시공간 왜곡 추출과 시간 내용 모듈을 결합하고 특징 표본 추출로 처리 길이를 줄인다.
RAPIQUE
RAPIQUE는 장면 통계와 의미 정보를 담은 합성곱 특징을 결합해 사용자 제작 동영상의 품질을 예측하는 무참조 모형이다. 공간 및 시간 대역 통계로 효율적인 평가를 다룬다.
VSFA
VSFA는 영상 내용에 대한 특징과 시간적 기억 효과를 결합하는 무참조 동영상 품질 평가 방법이다. 사전 학습한 이미지 분류망의 특징을 GRU와 주관 평가를 고려한 시간 풀링으로 처리한다.
DOVER
DOVER는 사용자가 만든 동영상의 품질을 미적 관점과 기술적 관점으로 나누어 학습하는 평가 모형이다. 화면의 왜곡 정도와 내용에 대한 선호가 전체 품질 판단에 함께 작용한다는 점을 다룬다.
FAST-VQA
FAST-VQA는 원래 해상도의 작은 패치를 격자 위치에서 추출해 동영상 품질을 효율적으로 평가하는 모형이다. 시간적으로 정렬한 조각인 프래그먼트와 이를 처리하는 주의 신경망을 결합한다.
장단기 시간 문맥 영상 압축
장단기 시간 문맥 영상 압축은 프레임 묶음 안의 긴 이력과 가까운 프레임의 움직임을 함께 이용하는 학습형 접근이다. 계속 갱신하는 시간 사전과 단계적으로 안내하는 다중 척도 움직임 보상을 결합한다.
하이퍼프라이어 무손실 이미지 압축
하이퍼프라이어 무손실 이미지 압축은 보조 잠재 정보로 확률 모형을 조정하는 학습형 무손실 압축 접근이다. 이산화 가우시안 혼합 우도와 학습을 돕는 L2 항을 이용하는 연구가 제시됐다.
eContextformer
eContextformer는 학습형 이미지 압축의 잠재 표현 확률을 추정하는 효율적인 트랜스포머 문맥 모형이다. 패치와 체커보드, 채널별 그룹을 결합하고 이동 창의 공간 및 채널 주의를 사용한다.
S2LIC
S2LIC는 잔차 SwinV2와 조밀 블록을 사용한 변환 구조에 적응형 채널 및 전역 주의 문맥을 결합하는 이미지 압축 모형이다. 잠재 슬라이스 안과 슬라이스 사이의 관계를 함께 추정한다.
딥 흐름 안내 영상 인페인팅
딥 흐름 안내 영상 인페인팅은 먼저 결손 부분의 광학 흐름을 완성하고 그 흐름을 따라 픽셀을 전달해 동영상의 빈 영역을 채우는 방법이다. 거친 추정에서 세밀한 보정으로 흐름을 복원한다.
시간 구조 기반 영상 인페인팅
시간 구조 기반 영상 인페인팅은 낮은 해상도에서 영상의 시간적 구조를 먼저 채우고 원래 해상도에서 공간 세부를 복원하는 접근이다. 3차원 합성곱과 2차원 합성곱의 두 하위망을 함께 학습한다.
EDSC 프레임 보간
EDSC 프레임 보간은 적응형 커널에 오프셋과 마스크, 편향을 더해 여러 중간 시점의 영상을 만드는 방법이다. 명시적인 광학 흐름 추정 대신 확장된 변형 분리 합성곱을 이용한다.
시간 사전 없는 프레임 보간
시간 사전 없는 프레임 보간은 촬영의 노출 시간과 프레임 간격이 확실하지 않은 조건에서 중간 영상을 합성하는 접근이다. 연속된 선명한 네 프레임 또는 흐린 두 프레임에서 곡선 움직임 궤적을 다룬다.
BiFormer 프레임 보간
BiFormer 프레임 보간은 전역 움직임 추정과 지역 보정, 영상 합성의 세 단계로 중간 프레임을 만드는 방법이다. 낮은 척도에서 양쪽 입력에 대응하는 움직임을 추정하고 블록별 비용 볼륨으로 보정한다.
FFNeRV
FFNeRV는 프레임 단위 신경 동영상 표현에 흐름 정보를 넣어 시간적 중복을 활용하는 방법이다. 시간 격자를 이용한 합성곱 구조와 모형 압축을 결합해 동영상 압축 및 프레임 보간을 다룬다.
EVRNet
EVRNet은 수신 측 엣지 기기에서 동영상 복원을 효율적으로 수행하도록 설계한 신경망이다. 정렬과 차분, 융합 모듈에 매개변수를 배분하고 블록 왜곡 제거와 잡음 제거, 초해상도를 다룬다.
베이지안 딥 이미지 사전
베이지안 딥 이미지 사전은 합성곱망의 출력으로 영상을 표현하는 딥 이미지 사전을 확률적 추론으로 해석하는 접근이다. 무한 채널 극한의 가우시안 과정 관계와 확률적 경사 랑주뱅 추론을 다룬다.
GAN2GAN
GAN2GAN은 개별 잡음 영상들에서 생성 잡음을 학습하고 합성한 잡음 영상 쌍으로 제거기를 반복 학습하는 방법이다. 깨끗한 정답 영상이나 같은 장면을 독립적으로 두 번 촬영한 잡음 쌍 없이 학습하는 조건을 다룬다.
PN2V
PN2V는 각 픽셀의 밝기를 하나의 값 대신 확률 분포로 예측하는 자기지도 잡음 제거 방법이다. 예측 분포와 잡음에 대한 설명을 결합해 관측 영상과 실제 신호의 확률 모형을 구성한다.
BIR-D
BIR-D는 생성 확산 사전 정보와 최적화 가능한 합성곱 커널을 결합하는 블라인드 이미지 복원 방법이다. 확산 단계에서 열화 커널을 갱신하면서 복합적인 열화를 다루는 접근을 취한다.
DoSSR
DoSSR은 저해상도 이미지에서 출발해 사전 학습한 확산 모형을 이용하는 초해상도 방법이다. 영역 이동을 나타내는 식을 연속 확률미분방정식으로 확장해 효율적인 샘플링을 다룬다.
LTEW
LTEW는 지역 질감의 푸리에 표현과 좌표 변환의 야코비안을 이용해 이미지를 연속적인 형태로 뒤트는 방법이다. 가로세로 확대율이 다른 변환과 호모그래피 같은 영상 워핑을 다룬다.
RDDM
RDDM은 확산 과정을 잔차 확산과 잡음 확산으로 나누어 이미지 생성과 복원을 다루는 모형이다. 목표 영상에서 열화 입력으로 향하는 방향 성분과 무작위 교란의 역할을 분리해 표현한다.
A-LIIF
A-LIIF는 여러 지역 암묵 이미지 함수의 가중 결합으로 연속적인 확대 함수를 구성하는 초해상도 방법이다. 척도 사이의 특징을 추출하고 위치별 특성을 반영해 임의 확대율에서 구조와 질감을 다룬다.
RePNP
RePNP는 심층 강화 학습으로 학습한 잡음 제거기를 플러그 앤 플레이 복원에 사용하는 방법이다. 가정한 관측 모형과 실제 촬영 과정이 어긋나는 상황에서 복원의 견고성을 높이는 문제를 다룬다.
U2-Former
U2-Former는 중첩된 U자 구조를 이용해 깊은 부호화 및 복호화 공간에서 이미지 복원을 수행하는 트랜스포머다. 특징 필터링으로 토큰 표현을 압축하고 대조 학습으로 열화 성분과 배경의 분리를 돕는다.
UHDformer
UHDformer는 초고해상도 이미지 복원을 위해 높은 해상도와 낮은 해상도의 특징 공간을 연결하는 트랜스포머다. 상관관계를 이용한 채널 선택과 적응형 채널 조정으로 두 공간 사이의 정보를 전달한다.
C2PNet
C2PNet은 대기 산란 모형을 고려한 두 경로 구조와 교육과정 방식의 대조 정규화를 결합하는 안개 제거 신경망이다. 안개 영상뿐 아니라 다른 복원 결과도 대조 학습의 음성 예로 활용한다.
DeblurGAN
DeblurGAN은 조건부 적대 학습과 내용 손실을 이용해 움직임 흐림을 줄이는 종단 간 이미지 복원 방법이다. 선명한 영상에서 합성 움직임 흐림을 만들어 학습 자료를 보강하는 방법도 다룬다.
FAMED-Net
FAMED-Net은 세 척도의 부호화기와 융합 모듈로 안개가 제거된 이미지를 직접 예측하는 신경망이다. 점별 합성곱과 풀링, 조밀한 연결로 특징을 재사용하는 경량 복원 구조를 지향한다.
VTAMIQ
VTAMIQ은 이미지 패치들을 하나의 전역 표현으로 부호화하고 특징 차이를 주의 기구로 조정하는 전참조 품질 평가 모형이다. 패치를 서로 독립적으로 평가할 때 놓치기 쉬운 장거리 관계를 다룬다.
DreamSim
DreamSim은 색과 질감뿐 아니라 배치와 물체 자세 등 이미지 전체의 닮은 정도를 다루는 지각 유사도 모형이다. 생성 이미지에 대한 사람의 비교 판단으로 학습하며 실제 이미지 검색과 재구성에도 활용된다.
IQT
IQT는 기준 이미지와 왜곡 이미지의 특징을 트랜스포머로 비교해 지각 품질 점수를 예측하는 전참조 평가 모형이다. 합성곱망으로 추출한 표현에 학습 가능한 품질 및 위치 임베딩을 더해 사용한다.
AHIQ
AHIQ은 비전 트랜스포머와 합성곱망을 함께 사용하는 이미지 품질 평가 모형이다. 패치 사이의 관계와 지역 질감을 결합하고 의미 정보로 변형 합성곱을 안내해 시각적으로 중요한 영역의 특징을 다룬다.
PieAPP
PieAPP은 사람이 두 왜곡 이미지 중 어느 쪽을 기준 이미지에 더 가깝다고 보는지를 학습하는 지각 오차 평가법이다. 쌍별 선호 확률로 학습한 뒤에는 기준 이미지와 평가 이미지 한 장으로 오차를 추정한다.
TOPIQ
TOPIQ은 높은 수준의 의미 특징을 이용해 낮은 수준의 왜곡 특징을 살피는 이미지 품질 평가 접근법이다. 여러 크기의 특징을 연결하는 교차 척도 주의 기구를 이용하며 참조 유무에 따른 평가에 적용된다.
TReS
TReS는 합성곱망의 지역 특징과 트랜스포머의 넓은 관계 표현을 결합하는 무참조 이미지 품질 평가 모형이다. 점수 학습에 상대 순위와 입력 변환에 대한 자기 일관성을 함께 이용한다.
DBCNN
DBCNN은 합성 왜곡과 실제 왜곡에 대응하는 두 합성곱망의 특징을 쌍선형 풀링으로 결합하는 이미지 품질 모형이다. 서로 다른 사전 학습에서 얻은 특징으로 참조 없는 품질을 예측한다.
NIMA
NIMA는 이미지에 대한 사람의 평가를 평균 점수 하나가 아니라 점수 분포로 예측하는 신경망이다. 사전 학습한 객체 인식망을 다시 학습해 원본 참조 없는 품질 및 미적 평가에 활용한다.
HyperIQA
HyperIQA는 이미지의 내용을 고려해 품질 예측망의 규칙을 조정하는 참조 없는 이미지 품질 평가 방법이다. 내용 이해와 지각 규칙 학습, 품질 예측을 나누어 자기 적응 하이퍼네트워크로 연결한다.
PaQ-2-PiQ
PaQ-2-PiQ는 전체 사진과 부분 패치의 사람 평가를 함께 활용하는 참조 없는 이미지 품질 연구다. 전역 품질 점수뿐 아니라 위치별 품질 지도를 예측하는 지역 기반 신경망을 제안한다.
BRISQUE
BRISQUE는 국소 정규화 밝기의 자연 장면 통계로 원본 참조 없이 이미지 품질을 평가하는 방법이다. 특정 왜곡별 탐지기를 따로 만들기보다 통계 분포에서 자연스러움의 변화를 살핀다.
NIQE
NIQE는 자연 영상에서 얻은 통계 모형을 이용해 원본 참조 없이 이미지 품질을 평가하는 지표다. 왜곡 영상에 대한 사람의 품질 점수를 학습하는 대신 깨끗한 자연 영상의 통계와 비교한다.
CLIP-IQA
CLIP-IQA는 이미지와 텍스트의 관계를 학습한 CLIP을 이용해 영상의 품질과 추상적인 인상을 평가하는 방법이다. 서로 대비되는 프롬프트 쌍으로 시각 언어 사전 정보를 활용한다.
LIQE
LIQE는 이미지와 텍스트의 대응 관계를 이용해 참조 없는 영상 품질을 예측하는 다중 작업 학습 방법이다. 품질 평가와 장면 분류 및 왜곡 종류 식별의 정보를 함께 활용한다.
MANIQA
MANIQA는 참조 원본 없이 이미지의 지각 품질을 예측하는 다차원 어텐션 신경망이다. 비전 트랜스포머 특징에 채널과 공간 상호작용을 더하고 패치별 품질과 중요도를 결합한다.
MUSIQ
MUSIQ는 크기와 종횡비가 다른 원해상도 이미지의 품질을 다중 규모 트랜스포머로 평가하는 방법이다. 고정 크기로 자르거나 바꿀 때 사라질 수 있는 품질 단서를 여러 규모에서 살핀다.
DISTS
DISTS는 깊은 특징에서 구조 유사도와 질감 유사도를 함께 비교하는 참조 기반 이미지 품질 지표다. 질감 영역의 재샘플링을 화소 단위 차이만으로 지나치게 벌점 주는 문제를 다룬다.
LPIPS
LPIPS는 신경망의 중간 특징을 이용해 두 이미지 패치의 지각적 차이를 평가하는 지표다. 사람의 유사도 판단과 가까운 비교를 목표로 하며 값이 낮을수록 더 비슷한 것으로 해석한다.
HiFiC
HiFiC는 생성적 적대 신경망과 학습 압축을 결합한 손실 이미지 압축 방법이다. 작은 비트율에서 입력과 지각적으로 비슷한 복원 결과를 만들도록 구조와 학습 목적을 함께 연구한다.
VCT 영상 압축
VCT는 프레임별 표현 사이의 확률적 의존성을 트랜스포머로 학습하는 영상 압축 방법이다. 프레임을 독립적으로 표현으로 바꾼 뒤 과거 표현으로 다음 표현의 분포를 예측한다.
RLVC
RLVC는 순환 오토인코더와 순환 확률 모형으로 여러 프레임의 시간 정보를 활용하는 학습 영상 압축 방법이다. 영상 복원과 잠재값의 확률 예측 양쪽에 이전 상태를 반영한다.
학습 상태 기반 영상 압축
학습 상태 기반 영상 압축은 복호한 프레임 이외의 정보를 신경망 상태로 유지해 이후 프레임 부호화에 활용하는 접근이다. Rippel 등의 Learned Video Compression은 일반화한 움직임 보상과 공간 비트율 제어를 함께 연구한다.
시간 문맥 마이닝
시간 문맥 마이닝은 복호한 프레임뿐 아니라 전파된 특징도 저장해 학습 영상 압축에 활용하는 방법이다. 여러 규모의 시간 문맥을 추출해 인코더와 디코더 및 확률 모형에 다시 공급한다.
스케일 공간 흐름
스케일 공간 흐름은 움직임 보정에 위치 이동뿐 아니라 스케일 변수를 더하는 학습 영상 압축 방법이다. 워핑 중 불확실한 영역의 흐림 정도를 조절해 빠른 움직임과 새로 드러난 영역을 다루려 한다.
DCVC
DCVC는 특징 영역의 시간 문맥을 조건으로 활용하는 학습 영상 압축 방법이다. 예측 프레임을 빼서 잔차만 전달하는 관점에서 조건부 부호화로 확장한다.
DVC 영상 압축
DVC는 움직임과 잔차를 신경망으로 압축하고 전체 모듈을 함께 학습하는 영상 압축 구조다. 예측 부호화의 틀에 학습 기반 광류와 오토인코더를 결합한다.
가우시안 혼합 이미지 압축
가우시안 혼합 이미지 압축은 양자화 잠재값의 확률을 이산화한 가우시안 혼합으로 설명하는 학습 압축 방법이다. 유연한 엔트로피 모형과 어텐션 모듈을 결합해 비트율과 왜곡의 균형을 개선한다.
채널 조건부 엔트로피 모형
채널 조건부 엔트로피 모형은 학습 이미지 압축에서 먼저 복호한 채널을 이후 채널의 확률 예측에 활용하는 방법이다. 공간 위치별 순차 처리의 부담을 줄이면서 채널 사이의 의존성을 이용한다.
ELIC 이미지 압축
ELIC은 크기가 다른 채널 그룹과 공간 문맥을 결합하는 학습 이미지 압축 방법이다. 잠재 표현의 정보 집중을 활용해 비트 수와 실행 효율을 함께 개선하려는 구조다.
체커보드 문맥 모형
체커보드 문맥 모형은 학습 이미지 압축의 공간 문맥 계산을 두 번의 패스로 나누는 방법이다. 잠재값을 엄격한 순서로 하나씩 복호할 때의 병렬화 제약을 줄이려 한다.
결합 자기회귀 하이퍼프라이어
결합 자기회귀 하이퍼프라이어는 학습 이미지 압축에서 이미 복호한 잠재값의 문맥과 계층형 보조 정보를 함께 사용하는 엔트로피 모형이다. 두 단서의 상호 보완성과 계산 비용을 함께 다룬다.
스케일 하이퍼프라이어
스케일 하이퍼프라이어는 학습 기반 이미지 압축에서 잠재 표현의 통계를 보조 정보로 설명하는 모형이다. 오토인코더와 함께 학습해 공간 의존성을 활용하고 엔트로피 부호화의 효율을 높인다.
D-NeRV
D-NeRV는 길거나 내용이 다양한 여러 영상을 하나의 신경 표현으로 인코딩하는 방법이다. 클립 고유의 시각 내용과 움직임을 분리하고 시간 추론 및 작업 지향 흐름을 활용한다.