문서 둘러보기
RPG 이미지 생성
RPG 이미지 생성은 다중 모달 언어 모형으로 복잡한 요청을 여러 지역 생성 과제로 나누는 프레임워크다. 설명을 다시 구성하고 배치를 계획한 뒤 지역별 확산으로 생성하며 이미지 생성과 편집을 닫힌 고리로 연결한다.
ElasticDiffusion
ElasticDiffusion은 사전 학습 확산 모형의 생성 신호를 전역과 지역으로 나누어 다양한 크기와 화면비의 이미지를 만드는 디코딩 방법이다. 지역 패치의 세부 정보와 참조 영상의 전체 구조 정보를 함께 이용하며 추가 학습을 요구하지 않는다.
ControlNet 플러스플러스
ControlNet 플러스플러스는 생성 이미지에서 조건을 다시 추출하고 원래 입력 조건과 비교해 제어 일관성을 학습하는 방법이다. 한 단계 잡음 제거 결과를 이용한 보상 미세 조정으로 긴 샘플링 경로의 학습 비용을 줄인다.
CtrLoRA
CtrLoRA는 공통적인 이미지 변환 지식을 배운 기본 ControlNet과 조건별 LoRA를 결합하는 제어 생성 프레임워크다. 새 조건마다 전체 제어망을 독립적으로 학습하는 부담을 줄이고 조건 확장을 쉽게 하는 것을 목표로 한다.
DCEdit
DCEdit는 편집할 의미 영역을 찾고 특징과 잠재 표현 양쪽에서 제어하는 확산 이미지 편집 방법이다. 시각 및 텍스트 자기 주의를 이용해 교차 주의 지도를 개선하고, 얻은 지역 단서를 두 수준의 제어에 사용한다.
단일 이미지 연속 배치 편집
단일 이미지 연속 배치 편집은 물체의 시각적 특징을 유지하면서 한 이미지의 배치를 계속 바꾸는 확산 기반 방법이다. 물체별 개념을 서로 다른 텍스트 토큰에 담고, 사용자 배치에 맞게 이미지를 다시 생성한다.
I2SB
I2SB는 두 분포 사이의 비선형 확산 과정을 학습하는 조건부 생성 방법이다. 열화 이미지가 가진 구조 정보를 깨끗한 이미지의 복원에 활용하며, 경계 쌍이 주어졌을 때 중간 분포를 해석적으로 계산할 수 있는 확산 브리지를 이용한다.
TODInv
TODInv는 편집 과제에 맞추어 프롬프트 임베딩을 조정하는 확산 이미지 역변환 프레임워크다. U-Net 층과 시간 단계마다 다른 표현을 사용하고 구조, 외관, 전역 편집을 구분해 원본 충실도와 편집 가능성을 다룬다.
InDI
InDI는 저품질 이미지에서 출발해 작은 복원 단계를 반복하도록 학습하는 지도 학습 방법이다. 열화 과정을 해석적인 식으로 알지 못해도 저품질과 고품질 이미지 쌍을 이용해 복원 과정을 배울 수 있다.
PAIR-Diffusion
PAIR-Diffusion은 이미지 속 물체마다 구조와 외관을 제어하는 확산 기반 편집 프레임워크다. 참조 이미지의 외관 적용, 자유로운 형태 변경, 물체 추가 등을 다루며 텍스트와 참조 이미지를 함께 이용할 수 있다.
FBSDiff
FBSDiff는 확산 특징을 주파수 대역으로 나누고 일부를 참조 이미지의 특징으로 교체하는 이미지 변환 방법이다. 교체하는 대역의 종류와 폭을 조절해 참조 정보의 성격과 영향 강도를 다룬다.
Motion Guidance
Motion Guidance는 픽셀의 이동 방향을 지정하고 광학 흐름 추정망의 기울기로 확산 생성을 안내하는 이미지 편집 기법이다. 원하는 이동과 원본의 시각적 유사성을 함께 고려해 위치와 형태의 변화를 만든다.
Direct Inversion
Direct Inversion은 실제 이미지 한 장에 텍스트로 변화를 지정하는 확산 기반 편집 방법이다. 이미지별 최적화나 미세 조정 없이 사전 학습 모형을 이용하며, 편집 종류와 강도를 제어하는 설정을 제공한다.
InstDiffEdit
InstDiffEdit는 확산 모형의 교차 모달 주의를 이용해 편집 과정에서 영역 마스크를 만드는 방법이다. 주의 분포를 학습 없이 정제하고 모아 수정할 부분을 선택하며, 지역 편집과 마스크 정확도를 함께 평가한다.
Negative-prompt Inversion
Negative-prompt Inversion은 확산 이미지 편집에 필요한 역변환을 별도 최적화 없이 순전파로 수행하는 방법이다. 원본 재구성의 충실도를 유지하면서 편집 준비에 드는 계산을 줄이는 문제를 다룬다.
Prompt Tuning Inversion
Prompt Tuning Inversion은 입력 이미지 정보를 학습 가능한 조건 임베딩에 담고, 목표 텍스트 임베딩과 보간해 편집하는 방법이다. 재구성 단계와 편집 단계를 나누어 원본 충실도와 변화 가능성을 조절한다.
DiffusionCLIP
DiffusionCLIP은 확산 모형과 CLIP의 텍스트 표현을 이용하는 이미지 변환 방법이다. 입력 이미지의 역변환과 재생성 능력을 바탕으로 문장에 따른 외관 변화와 여러 속성의 편집을 다룬다.
Imagic
Imagic은 실제 이미지 한 장과 목표 문장으로 형태와 외관을 편집하는 확산 모형 기반 방법이다. 입력 이미지에 맞는 텍스트 표현을 구하고 모형을 미세 조정해 원래 모습과 목표 변화 사이를 연결한다.
DiffEdit
DiffEdit는 서로 다른 텍스트 조건의 확산 예측을 비교해 수정할 영역의 마스크를 자동으로 만드는 이미지 편집 방법이다. 마스크 안내와 잠재 추론을 결합해 요청에 따른 변화와 원래 내용의 보존을 다룬다.
PnP 확산 특징
PnP 확산 특징은 안내 이미지에서 추출한 공간 특징과 자기 주의를 생성 과정에 주입하는 텍스트 기반 이미지 변환 방법이다. 원본의 의미적 배치를 보존하면서 목표 문장에 맞는 새 이미지를 만든다.
MasaCtrl
MasaCtrl은 확산 모형의 자기 주의를 상호 자기 주의로 바꾸어 원본의 지역 내용과 질감을 활용하는 생성 및 편집 방법이다. 추가 미세 조정 없이 정체성과 질감을 유지하는 비강체 편집을 다룬다.
pix2pix-zero
pix2pix-zero는 텍스트 임베딩 공간의 편집 방향과 교차 주의 안내로 이미지 내용을 바꾸는 방법이다. 원래 구조를 보존하면서 변환하도록 하며 해당 편집을 위한 추가 학습 없이 사전 학습 확산 모형을 활용한다.
Null-text Inversion
Null-text Inversion은 실제 이미지를 텍스트 안내 확산 모형의 생성 과정에 대응시켜 편집하는 역변환 방법이다. 기준 잡음 궤적 주위에서 무조건 텍스트 임베딩을 최적화하고 모형 가중치와 조건 임베딩은 유지한다.
SDEdit
SDEdit는 안내가 담긴 입력 이미지에 잡음을 더한 뒤 확률미분방정식 기반 확산 사전 정보로 잡음을 제거하는 합성 및 편집 방법이다. 입력 충실도와 자연스러움 사이의 균형을 다룬다.
InstructPix2Pix
InstructPix2Pix는 입력 이미지와 수정 지시 문장으로 편집 결과를 만드는 조건부 확산 모형이다. 언어 모형과 이미지 생성 모형으로 만든 편집 예제를 학습하며 사용 시 이미지별 미세 조정이나 역변환을 요구하지 않는다.
Prompt-to-Prompt
Prompt-to-Prompt는 문장을 바꾸면서 원래 생성 이미지의 구조를 유지하도록 교차 주의를 제어하는 편집 방법이다. 단어 교체와 설명 추가, 단어의 반영 강도 조절을 통해 국소 및 전체 편집을 다룬다.
MultiDiffusion
MultiDiffusion은 여러 확산 생성 경로를 공통 매개변수나 제약으로 묶어 이미지를 제어하는 방법이다. 사전 학습 모형의 추가 학습 없이 화면 비율과 영역별 공간 조건을 반영하는 생성을 다룬다.
조합 가능 확산 모형
조합 가능 확산 모형은 영상의 서로 다른 구성 요소를 나타내는 확산 모형들을 결합하는 생성 접근이다. 확산 모형을 에너지 기반 모형으로 해석해 분포를 조합하고 새로운 개념 결합을 다룬다.
Uni-ControlNet
Uni-ControlNet은 지역 조건과 전역 조건을 한 모형에서 조합하는 텍스트 이미지 생성 제어 틀이다. 고정한 사전 학습 확산 모형 위에 두 어댑터를 미세 조정해 다양한 제어를 다룬다.
UniControl
UniControl은 여러 시각 조건을 이용하는 이미지 생성 과제를 한 확산 모형에 통합하는 방법이다. 과제를 인식하는 하이퍼네트워크로 모형을 조절하면서 언어 요청도 함께 반영한다.
IP-Adapter
IP-Adapter는 사전 학습 텍스트 이미지 확산 모형에 이미지 프롬프트를 더하는 가벼운 어댑터다. 텍스트와 이미지 특징의 교차 주의를 분리해 두 종류의 입력을 함께 사용하는 생성을 다룬다.
T2I-Adapter
T2I-Adapter는 고정한 텍스트 이미지 생성 모형의 내부 지식과 외부 제어 신호를 연결하는 가벼운 학습 모듈이다. 조건별 어댑터로 색과 구조를 제어하고 여러 조건의 조합 및 일반화를 다룬다.
ControlNet
ControlNet은 큰 사전 학습 텍스트 이미지 확산 모형에 공간 조건을 추가하는 신경망 구조다. 기존 모형을 고정하고 새 학습 경로를 연결해 윤곽과 깊이, 분할 지도, 사람 자세 같은 입력을 반영한다.
GLIGEN
GLIGEN은 텍스트와 상자 위치 같은 그라운딩 조건을 함께 반영하는 이미지 생성 방법이다. 사전 학습 확산 모형을 고정하고 게이트로 연결한 새 층을 학습해 기존 개념 지식을 활용한다.
BoxDiff
BoxDiff는 사용자가 지정한 상자나 낙서 형태의 공간 조건을 따라 이미지를 생성하도록 확산 과정을 안내하는 방법이다. 추가 학습 없이 상자 안과 밖, 모서리에 대한 제약을 잡음 제거 단계에 적용한다.
FreeControl
FreeControl은 안내 이미지의 구조를 반영하도록 확산 생성을 제어하는 추가 학습 없는 방법이다. 구조 안내와 외관 안내를 나누며 여러 조건과 모형 구조, 체크포인트를 함께 지원하는 방향을 취한다.
Attend-and-Excite
Attend-and-Excite는 생성 중 교차 주의를 안내해 텍스트에 나온 대상이 빠지지 않도록 돕는 확산 이미지 생성 방법이다. 추론 시점에 대상 토큰의 활성화를 강화해 요청의 의미 충실도를 높이는 방향을 취한다.
구조화 확산 안내
구조화 확산 안내는 문장의 언어 구조를 확산 모형의 교차 주의에 반영해 여러 물체와 속성의 조합을 개선하는 방법이다. 추가 학습 표본 없이 기존 Stable Diffusion의 표현을 조정하는 접근을 취한다.
DSG 생성 평가
DSG 생성 평가는 텍스트 이미지 일치를 검사하는 질문들을 의존 그래프로 구성해 일관성을 높이는 방법이다. 요청을 빠뜨리거나 중복하지 않는 원자적 질문과 답 사이의 논리 관계를 다룬다.
VPEval
VPEval은 텍스트 이미지 생성 결과를 시각 프로그램으로 평가하는 틀이다. 하나의 점수 모형에 모든 판단을 맡기기보다 기능별 시각 모듈을 호출하고 시각 및 텍스트 설명을 제공한다.
ConceptMix
ConceptMix는 조합할 시각 개념 수를 바꾸어 텍스트 이미지 생성의 난이도를 조절하는 벤치마크다. 개념을 표본 추출해 요청을 만들고 개념별 질문으로 생성 이미지의 조건 충족을 검사한다.
TIFA
TIFA는 텍스트 요청에서 질문과 정답을 만들고 생성 이미지에 대한 시각 질의응답으로 충실도를 평가하는 방법이다. 원본 참조 없이 물체와 개수 등 요청의 세부 조건이 나타났는지 확인한다.
T2I-CompBench 플러스플러스
T2I-CompBench 플러스플러스는 여러 물체의 속성과 관계, 개수 및 복잡한 장면 조합을 평가하는 텍스트 이미지 생성 벤치마크다. 구성적 요청의 여러 범주를 나누고 검출 및 다중모달 평가를 이용한다.
GenEval
GenEval은 생성 이미지에 텍스트로 요청한 물체와 개수, 위치, 색이 나타났는지 세부적으로 평가하는 틀이다. 객체 검출 등 판별 모형을 이용해 구성적 조건의 충족 여부를 살핀다.
HPS v2
HPS v2는 생성 이미지에 대한 사람의 선호를 예측하도록 CLIP을 미세 조정한 점수 모형이다. 다양한 출처의 이미지를 비교한 HPD v2 자료와 평가용 텍스트 요청의 설계를 함께 다룬다.
VisionReward
VisionReward는 이미지와 동영상 생성에 대한 세밀한 사람 선호를 계층적으로 평가하는 틀이다. 여러 평가 항목을 선형 가중으로 결합해 해석 가능한 선호 학습과 다차원 일관성 최적화를 다룬다.
MPS 이미지 선호
MPS 이미지 선호는 생성 이미지의 미적 특성과 의미 일치, 세부 품질, 전체 평가를 나누어 학습하는 다차원 선호 모형이다. CLIP에 선호 조건 모듈을 더하고 관점별 사람의 선택을 이용한다.
PickScore
PickScore는 텍스트 요청에 따라 생성한 이미지에 대한 사람의 선호를 예측하는 CLIP 기반 점수 함수다. 실제 이용자가 이미지 생성 결과를 고르는 Pick-a-Pic 자료로 학습하며 결과의 순위 선택에 활용한다.
ImageReward
ImageReward는 텍스트에서 생성한 이미지에 대한 사람의 선호를 학습하는 보상 모형이다. 평가와 순위 비교로 수집한 전문가 피드백을 이용하며 확산 모형을 점수에 맞춰 조정하는 ReFL도 함께 제시한다.
Q-Bench
Q-Bench는 다중모달 기반 모형의 저수준 시각 능력을 지각과 설명, 품질 평가로 나누어 검사하는 벤치마크다. 외관 속성 질문과 전문가 설명, 사람의 품질 점수에 대한 평가를 함께 다룬다.
Q-Align
Q-Align은 다중모달 모형에 숫자 점수 대신 텍스트로 정의한 평가 등급을 학습시키는 시각 평가 방법이다. 이미지 품질과 미적 평가, 동영상 품질을 다루며 등급 확률로 세밀한 점수를 얻는다.
Q-Instruct
Q-Instruct는 이미지의 저수준 시각 특성을 이해하고 설명하도록 다중모달 모형을 개선하는 지시 학습 자료다. 사람의 상세한 시각 피드백을 다양한 질문과 응답 형식으로 바꾸어 학습에 이용한다.
DiffVQA
DiffVQA는 사전 학습 확산 모형을 특징 추출기로 적응시켜 동영상 품질을 평가하는 방법이다. 크기 조절 및 잘라내기 경로에서 의미와 왜곡 특징을 얻고 Mamba 기반 시간 표현과 결합한다.
VQT 품질 평가
VQT 품질 평가는 시간적으로 드물게 나타나는 심한 왜곡과 함께 존재하는 여러 왜곡을 포착하는 동영상 평가 모형이다. 희소 시간 주의로 주요 프레임을 선택하고 다른 희소도를 가진 여러 경로를 결합한다.
dipIQ
dipIQ는 품질 차이를 구별할 수 있는 이미지 쌍을 자동으로 구성하고 순위 학습으로 무참조 품질을 추정하는 방법이다. 사람의 주관 점수 없이 학습하며 쌍마다 지각적 불확실성 수준을 함께 고려한다.
SLIQUE
SLIQUE는 내용과 왜곡, 밝기나 선명도 같은 외관 정보를 함께 학습하는 무참조 이미지 품질 모형이다. 시각 대조 학습과 시각 언어 학습을 결합하며 세 종류의 텍스트 설명이 붙은 자료를 이용한다.
HiRQA
HiRQA는 순위와 대조 학습을 결합해 품질을 반영하는 계층적 표현을 얻는 자기지도 평가 방법이다. 합성 왜곡으로 학습하며 사용 시에는 원본 참조나 추가 입력 없이 평가 이미지 한 장을 이용한다.
MDFS 품질 평가
MDFS 품질 평가는 사전 학습된 시각 모형의 다중 척도 특징과 통계 모형을 결합하는 무참조 평가 방법이다. 사람의 평점 자료 대신 고품질 이미지 집합의 특징 분포와 평가 이미지의 분포 차이를 이용한다.
MetaIQA
MetaIQA는 여러 왜곡의 품질 평가 과제에서 공통 사전 지식을 메타 학습하는 무참조 이미지 품질 방법이다. 얻은 품질 사전 모형을 목표 과제에 미세 조정해 새로운 왜곡에 적응하도록 한다.
RankIQA
RankIQA는 품질의 상대 순서를 아는 합성 왜곡 영상으로 순위 신경망을 학습하는 무참조 평가 방법이다. 학습한 표현을 단일 이미지의 품질 점수를 예측하는 CNN으로 옮겨 미세 조정한다.
Re-IQA
Re-IQA는 이미지 내용과 품질의 상보적인 표현을 별도 부호화기로 학습하는 접근이다. 비지도 학습으로 얻은 높은 수준 및 낮은 수준의 특징을 선형 회귀에 사용해 품질 점수를 예측한다.
UNIQUE 품질 평가
UNIQUE는 합성 왜곡과 실제 왜곡을 함께 다루며 평가의 불확실성을 고려하는 무참조 이미지 품질 모형이다. 자료 안에서 이미지 쌍의 품질 우위 확률을 계산해 학습하고 불확실성 추정에 제약을 둔다.
CONTRIQUE
CONTRIQUE는 왜곡 종류와 정도를 구분하는 대조 학습으로 이미지 품질 표현을 얻는 방법이다. 학습한 합성곱망을 고정한 뒤 선형 회귀기로 표현을 무참조 품질 점수에 대응시킨다.
DisCoVQA
DisCoVQA는 동영상의 시간적 왜곡과 프레임 내용에 따른 중요도를 트랜스포머로 다루는 품질 평가 모형이다. 시공간 왜곡 추출과 시간 내용 모듈을 결합하고 특징 표본 추출로 처리 길이를 줄인다.
RAPIQUE
RAPIQUE는 장면 통계와 의미 정보를 담은 합성곱 특징을 결합해 사용자 제작 동영상의 품질을 예측하는 무참조 모형이다. 공간 및 시간 대역 통계로 효율적인 평가를 다룬다.
VSFA
VSFA는 영상 내용에 대한 특징과 시간적 기억 효과를 결합하는 무참조 동영상 품질 평가 방법이다. 사전 학습한 이미지 분류망의 특징을 GRU와 주관 평가를 고려한 시간 풀링으로 처리한다.
DOVER
DOVER는 사용자가 만든 동영상의 품질을 미적 관점과 기술적 관점으로 나누어 학습하는 평가 모형이다. 화면의 왜곡 정도와 내용에 대한 선호가 전체 품질 판단에 함께 작용한다는 점을 다룬다.
FAST-VQA
FAST-VQA는 원래 해상도의 작은 패치를 격자 위치에서 추출해 동영상 품질을 효율적으로 평가하는 모형이다. 시간적으로 정렬한 조각인 프래그먼트와 이를 처리하는 주의 신경망을 결합한다.
장단기 시간 문맥 영상 압축
장단기 시간 문맥 영상 압축은 프레임 묶음 안의 긴 이력과 가까운 프레임의 움직임을 함께 이용하는 학습형 접근이다. 계속 갱신하는 시간 사전과 단계적으로 안내하는 다중 척도 움직임 보상을 결합한다.
하이퍼프라이어 무손실 이미지 압축
하이퍼프라이어 무손실 이미지 압축은 보조 잠재 정보로 확률 모형을 조정하는 학습형 무손실 압축 접근이다. 이산화 가우시안 혼합 우도와 학습을 돕는 L2 항을 이용하는 연구가 제시됐다.
eContextformer
eContextformer는 학습형 이미지 압축의 잠재 표현 확률을 추정하는 효율적인 트랜스포머 문맥 모형이다. 패치와 체커보드, 채널별 그룹을 결합하고 이동 창의 공간 및 채널 주의를 사용한다.
S2LIC
S2LIC는 잔차 SwinV2와 조밀 블록을 사용한 변환 구조에 적응형 채널 및 전역 주의 문맥을 결합하는 이미지 압축 모형이다. 잠재 슬라이스 안과 슬라이스 사이의 관계를 함께 추정한다.
딥 흐름 안내 영상 인페인팅
딥 흐름 안내 영상 인페인팅은 먼저 결손 부분의 광학 흐름을 완성하고 그 흐름을 따라 픽셀을 전달해 동영상의 빈 영역을 채우는 방법이다. 거친 추정에서 세밀한 보정으로 흐름을 복원한다.
시간 구조 기반 영상 인페인팅
시간 구조 기반 영상 인페인팅은 낮은 해상도에서 영상의 시간적 구조를 먼저 채우고 원래 해상도에서 공간 세부를 복원하는 접근이다. 3차원 합성곱과 2차원 합성곱의 두 하위망을 함께 학습한다.
EDSC 프레임 보간
EDSC 프레임 보간은 적응형 커널에 오프셋과 마스크, 편향을 더해 여러 중간 시점의 영상을 만드는 방법이다. 명시적인 광학 흐름 추정 대신 확장된 변형 분리 합성곱을 이용한다.
시간 사전 없는 프레임 보간
시간 사전 없는 프레임 보간은 촬영의 노출 시간과 프레임 간격이 확실하지 않은 조건에서 중간 영상을 합성하는 접근이다. 연속된 선명한 네 프레임 또는 흐린 두 프레임에서 곡선 움직임 궤적을 다룬다.
BiFormer 프레임 보간
BiFormer 프레임 보간은 전역 움직임 추정과 지역 보정, 영상 합성의 세 단계로 중간 프레임을 만드는 방법이다. 낮은 척도에서 양쪽 입력에 대응하는 움직임을 추정하고 블록별 비용 볼륨으로 보정한다.
FFNeRV
FFNeRV는 프레임 단위 신경 동영상 표현에 흐름 정보를 넣어 시간적 중복을 활용하는 방법이다. 시간 격자를 이용한 합성곱 구조와 모형 압축을 결합해 동영상 압축 및 프레임 보간을 다룬다.
EVRNet
EVRNet은 수신 측 엣지 기기에서 동영상 복원을 효율적으로 수행하도록 설계한 신경망이다. 정렬과 차분, 융합 모듈에 매개변수를 배분하고 블록 왜곡 제거와 잡음 제거, 초해상도를 다룬다.
베이지안 딥 이미지 사전
베이지안 딥 이미지 사전은 합성곱망의 출력으로 영상을 표현하는 딥 이미지 사전을 확률적 추론으로 해석하는 접근이다. 무한 채널 극한의 가우시안 과정 관계와 확률적 경사 랑주뱅 추론을 다룬다.
GAN2GAN
GAN2GAN은 개별 잡음 영상들에서 생성 잡음을 학습하고 합성한 잡음 영상 쌍으로 제거기를 반복 학습하는 방법이다. 깨끗한 정답 영상이나 같은 장면을 독립적으로 두 번 촬영한 잡음 쌍 없이 학습하는 조건을 다룬다.
PN2V
PN2V는 각 픽셀의 밝기를 하나의 값 대신 확률 분포로 예측하는 자기지도 잡음 제거 방법이다. 예측 분포와 잡음에 대한 설명을 결합해 관측 영상과 실제 신호의 확률 모형을 구성한다.
BIR-D
BIR-D는 생성 확산 사전 정보와 최적화 가능한 합성곱 커널을 결합하는 블라인드 이미지 복원 방법이다. 확산 단계에서 열화 커널을 갱신하면서 복합적인 열화를 다루는 접근을 취한다.
DoSSR
DoSSR은 저해상도 이미지에서 출발해 사전 학습한 확산 모형을 이용하는 초해상도 방법이다. 영역 이동을 나타내는 식을 연속 확률미분방정식으로 확장해 효율적인 샘플링을 다룬다.
LTEW
LTEW는 지역 질감의 푸리에 표현과 좌표 변환의 야코비안을 이용해 이미지를 연속적인 형태로 뒤트는 방법이다. 가로세로 확대율이 다른 변환과 호모그래피 같은 영상 워핑을 다룬다.
RDDM
RDDM은 확산 과정을 잔차 확산과 잡음 확산으로 나누어 이미지 생성과 복원을 다루는 모형이다. 목표 영상에서 열화 입력으로 향하는 방향 성분과 무작위 교란의 역할을 분리해 표현한다.
A-LIIF
A-LIIF는 여러 지역 암묵 이미지 함수의 가중 결합으로 연속적인 확대 함수를 구성하는 초해상도 방법이다. 척도 사이의 특징을 추출하고 위치별 특성을 반영해 임의 확대율에서 구조와 질감을 다룬다.
RePNP
RePNP는 심층 강화 학습으로 학습한 잡음 제거기를 플러그 앤 플레이 복원에 사용하는 방법이다. 가정한 관측 모형과 실제 촬영 과정이 어긋나는 상황에서 복원의 견고성을 높이는 문제를 다룬다.
U2-Former
U2-Former는 중첩된 U자 구조를 이용해 깊은 부호화 및 복호화 공간에서 이미지 복원을 수행하는 트랜스포머다. 특징 필터링으로 토큰 표현을 압축하고 대조 학습으로 열화 성분과 배경의 분리를 돕는다.
UHDformer
UHDformer는 초고해상도 이미지 복원을 위해 높은 해상도와 낮은 해상도의 특징 공간을 연결하는 트랜스포머다. 상관관계를 이용한 채널 선택과 적응형 채널 조정으로 두 공간 사이의 정보를 전달한다.
C2PNet
C2PNet은 대기 산란 모형을 고려한 두 경로 구조와 교육과정 방식의 대조 정규화를 결합하는 안개 제거 신경망이다. 안개 영상뿐 아니라 다른 복원 결과도 대조 학습의 음성 예로 활용한다.
DeblurGAN
DeblurGAN은 조건부 적대 학습과 내용 손실을 이용해 움직임 흐림을 줄이는 종단 간 이미지 복원 방법이다. 선명한 영상에서 합성 움직임 흐림을 만들어 학습 자료를 보강하는 방법도 다룬다.
FAMED-Net
FAMED-Net은 세 척도의 부호화기와 융합 모듈로 안개가 제거된 이미지를 직접 예측하는 신경망이다. 점별 합성곱과 풀링, 조밀한 연결로 특징을 재사용하는 경량 복원 구조를 지향한다.
VTAMIQ
VTAMIQ은 이미지 패치들을 하나의 전역 표현으로 부호화하고 특징 차이를 주의 기구로 조정하는 전참조 품질 평가 모형이다. 패치를 서로 독립적으로 평가할 때 놓치기 쉬운 장거리 관계를 다룬다.
DreamSim
DreamSim은 색과 질감뿐 아니라 배치와 물체 자세 등 이미지 전체의 닮은 정도를 다루는 지각 유사도 모형이다. 생성 이미지에 대한 사람의 비교 판단으로 학습하며 실제 이미지 검색과 재구성에도 활용된다.
IQT
IQT는 기준 이미지와 왜곡 이미지의 특징을 트랜스포머로 비교해 지각 품질 점수를 예측하는 전참조 평가 모형이다. 합성곱망으로 추출한 표현에 학습 가능한 품질 및 위치 임베딩을 더해 사용한다.
AHIQ
AHIQ은 비전 트랜스포머와 합성곱망을 함께 사용하는 이미지 품질 평가 모형이다. 패치 사이의 관계와 지역 질감을 결합하고 의미 정보로 변형 합성곱을 안내해 시각적으로 중요한 영역의 특징을 다룬다.
PieAPP
PieAPP은 사람이 두 왜곡 이미지 중 어느 쪽을 기준 이미지에 더 가깝다고 보는지를 학습하는 지각 오차 평가법이다. 쌍별 선호 확률로 학습한 뒤에는 기준 이미지와 평가 이미지 한 장으로 오차를 추정한다.
TOPIQ
TOPIQ은 높은 수준의 의미 특징을 이용해 낮은 수준의 왜곡 특징을 살피는 이미지 품질 평가 접근법이다. 여러 크기의 특징을 연결하는 교차 척도 주의 기구를 이용하며 참조 유무에 따른 평가에 적용된다.
TReS
TReS는 합성곱망의 지역 특징과 트랜스포머의 넓은 관계 표현을 결합하는 무참조 이미지 품질 평가 모형이다. 점수 학습에 상대 순위와 입력 변환에 대한 자기 일관성을 함께 이용한다.