문서 둘러보기
DS-NeRV
DS-NeRV는 영상 표현을 희소한 정적 코드와 동적 코드로 나누는 방법이다. 두 코드의 샘플링과 융합을 달리해 반복되는 정적 정보를 줄이면서 시간 변화의 세부를 표현한다.
E-NeRV
E-NeRV는 영상의 공간 문맥과 시간 문맥을 분리해 표현하는 신경 영상 표현 방법이다. 프레임 번호에서 공간과 시간 정보를 한꺼번에 생성할 때의 매개변수 중복을 줄이려 한다.
HiNeRV
HiNeRV는 계층형 위치 인코딩과 가벼운 신경망 층을 결합한 영상 표현 및 압축 방법이다. 프레임과 패치 단위 표현을 통합하고 학습된 모델의 가지치기 및 양자화까지 압축 과정에 포함한다.
HNeRV
HNeRV는 영상 내용에 맞춘 임베딩과 디코더를 결합하는 하이브리드 신경 영상 표현이다. 학습 가능한 인코더가 만든 임베딩을 사용하고 출력에 가까운 층에도 세부를 표현할 용량을 배분한다.
NeRV 영상 표현
NeRV는 프레임 번호를 입력받아 해당 RGB 영상 전체를 출력하는 신경망 기반 영상 표현이다. 영상 프레임에 신경망을 맞추는 것을 인코딩으로, 순전파로 프레임을 만드는 것을 디코딩으로 다룬다.
DSTT
DSTT는 공간과 시간 어텐션을 나누어 교대로 적용하는 영상 인페인팅 트랜스포머다. 계층형 인코더로 국소 구조를 보존하고 여러 프레임의 질감과 움직임 정보를 결합한다.
FGT 영상 인페인팅
FGT는 완성한 광류로 어텐션의 정보 검색을 안내하는 영상 인페인팅 트랜스포머다. 프레임 간 내용 전파 뒤에 남은 영역을 공간과 시간의 분리된 트랜스포머로 합성한다.
FuseFormer
FuseFormer는 겹치는 패치를 나누고 다시 결합해 세밀한 특징을 전달하는 영상 인페인팅 트랜스포머다. Soft Split과 Soft Composition으로 패치 경계를 넘는 정보를 활용한다.
STTN 영상 인페인팅
STTN은 여러 프레임의 누락 영역을 공간과 시간의 자기 어텐션으로 함께 채우는 영상 인페인팅 모델이다. 프레임별로 따로 참고 내용을 고를 때 생길 수 있는 시간적 불일치를 줄이려는 구조다.
E2FGVI
E2FGVI는 광류 완성, 특징 전파와 내용 생성을 함께 학습하는 영상 인페인팅 구조다. 분리된 처리 단계가 앞 단계의 오류에 크게 의존하는 문제를 종단 간 최적화로 다룬다.
ProPainter
ProPainter는 이미지와 특징 영역의 정보 전파를 결합하는 영상 인페인팅 방법이다. 마스크를 고려한 희소 트랜스포머로 필요한 정보를 선택해 누락 영역을 시간적으로 일관되게 채우려 한다.
QVI 프레임 보간
QVI는 가속도 정보를 이용해 움직임을 이차식으로 모델링하는 영상 프레임 보간 방법이다. 일정한 속도의 직선 이동만으로 나타내기 어려운 궤적을 다루며 흐름 반전과 정제를 결합한다.
XVFI
XVFI는 고해상도 영상의 큰 움직임을 다루는 프레임 보간 방법이다. 공유하는 다중 규모 구조에서 입력 사이의 흐름과 중간 시점에서 입력으로 향하는 흐름을 나누어 추정한다.
BMBC
BMBC는 양쪽 입력으로 향하는 움직임과 비용 볼륨을 이용해 중간 프레임을 합성하는 보간 방법이다. 추정한 움직임으로 입력을 워핑한 뒤 동적으로 만든 혼합 필터로 결합한다.
IFRNet
IFRNet은 중간 프레임의 흐름장과 특징을 함께 점진적으로 정제하는 영상 보간 신경망이다. 하나의 인코더 및 디코더에서 두 정보를 결합해 별도 합성 모듈의 부담을 줄인다.
AMT 프레임 보간
AMT는 양방향 상관 볼륨과 여러 흐름장을 이용해 중간 프레임을 생성하는 영상 보간 구조다. 거친 흐름을 갱신한 뒤 여러 세밀한 흐름으로 입력 영상을 워핑한다.
EMA-VFI
EMA-VFI는 프레임 간 어텐션 맵을 움직임 추출과 외형 특징 강화에 함께 활용하는 영상 보간 방법이다. 합성곱망과 트랜스포머를 결합해 세부 구조와 처리 효율을 함께 다룬다.
AdaCoF
AdaCoF는 출력 화소마다 샘플링 위치의 오프셋과 커널 가중치를 함께 추정하는 프레임 보간 방법이다. 입력 영상에서 유용한 여러 위치를 모아 중간 프레임을 합성한다.
SepConv 프레임 보간
SepConv는 화소별로 예측한 1차원 커널 쌍을 이용해 중간 프레임을 합성하는 보간 방법이다. 큰 2차원 적응 커널을 분리 가능한 형태로 나타내 필요한 커널 값의 수를 줄인다.
CAIN 프레임 보간
CAIN은 특징의 공간 배치를 채널로 재구성하고 채널 어텐션으로 중간 프레임을 생성하는 영상 보간 모델이다. 별도 움직임 추정 신경망 없이 프레임 사이의 정보를 결합한다.
FLAVR
FLAVR는 3차원 시공간 합성곱으로 영상의 중간 프레임을 생성하는 보간 모델이다. 별도의 광류나 깊이 맵을 입력하지 않고 여러 프레임의 움직임 및 가림 관계를 학습한다.
DynaVSR
DynaVSR은 입력 영상의 열화에 맞추어 축소 모형과 복원망을 적응시키는 블라인드 영상 초해상도 방법이다. 다중 프레임 축소 모듈을 영상 초해상도 신경망과 결합한 메타 학습 구조를 사용한다.
TOFlow
TOFlow는 영상 복원 작업의 최종 결과에 맞추어 학습하는 움직임 표현이다. 움직임 추정 모듈과 영상 처리 모듈을 함께 학습해 프레임 보간, 잡음 제거와 초해상도에 활용한다.
Shift-Net
Shift-Net은 특징을 공간과 시간 방향으로 그룹별 이동시켜 여러 프레임의 정보를 결합하는 영상 복원 구조다. 가벼운 이동 연산과 기본적인 2차원 합성곱을 조합해 흐림 및 잡음 제거를 수행한다.
VRT 영상 복원
VRT는 여러 프레임의 정보를 트랜스포머로 결합해 고품질 영상을 복원하는 구조다. 작은 클립의 상호 어텐션과 병렬 워핑을 이용하며 여러 프레임의 출력을 병렬로 예측한다.
DVDnet
DVDnet은 합성곱 신경망을 이용하는 영상 잡음 제거 방법이다. 여러 잡음 수준을 하나의 모델로 다루며 프레임 사이의 움직임을 보정해 시간 정보를 활용한다.
FastDVDnet
FastDVDnet은 명시적인 광류 추정 없이 여러 프레임을 결합하는 영상 잡음 제거 신경망이다. 두 단계의 잡음 제거 블록과 다중 규모 구조로 시간 정보를 이용하면서 움직임 보정 비용을 줄인다.
RealBasicVSR
RealBasicVSR은 실제 저품질 영상에서 특징을 전파하기 전에 잡음과 인공 흔적을 줄이는 영상 초해상도 방법이다. 긴 시간의 정보를 활용하는 이점과 열화가 함께 퍼지는 문제 사이의 절충을 연구한다.
RealViformer
RealViformer는 실제 영상 초해상도에서 인공 흔적의 영향을 줄이기 위해 채널 어텐션을 활용하는 모델이다. 공간 어텐션과 채널 어텐션의 민감도 및 채널 특징의 중복을 분석해 구조를 설계한다.
StableSR
StableSR은 사전 학습된 텍스트 이미지 확산 모델의 생성 사전 정보를 활용하는 블라인드 초해상도 방법이다. 시간 인식 인코더로 입력을 연결하고 특징 조절로 품질과 충실도를 절충한다.
SUPIR
SUPIR은 큰 생성 모델과 고품질 학습 자료를 활용하는 이미지 복원 방법이다. 텍스트로 복원 방향을 지정할 수 있으며 복원 가이던스로 생성 결과의 충실도를 조절한다.
ResShift
ResShift는 고해상도와 저해상도 영상 사이의 잔차를 이동시키는 확산 과정을 설계한 이미지 초해상도 방법이다. 생성 경로 자체를 바꾸어 필요한 샘플링 단계 수를 줄이는 것을 목표로 한다.
SinSR
SinSR은 확산 기반 초해상도의 여러 단계 생성 경로를 학생 모델에 증류해 한 단계로 결과를 만드는 방법이다. 교사의 결정적인 대응을 학습하면서 정답 영상도 활용해 복원 품질을 개선한다.
DifFace
DifFace는 저품질 얼굴에서 사전 학습된 확산 모델의 중간 상태로 전이한 뒤 고품질 결과를 생성하는 얼굴 복원 방법이다. 간단한 복원망의 추정과 확산 사전 정보를 연결해 복잡한 열화를 다룬다.
DiffBIR
DiffBIR은 열화를 줄이는 단계와 잃은 내용을 생성하는 단계를 나눈 블라인드 이미지 복원 파이프라인이다. 복원 모듈의 결과를 조건으로 잠재 확산 모델이 세부를 재생성하도록 구성한다.
DiffPIR
DiffPIR은 플러그앤플레이 영상 복원과 확산 샘플링을 결합하는 방법이다. 확산 모델을 생성형 잡음 제거 사전 정보로 활용해 초해상도, 흐림 제거와 인페인팅을 다룬다.
DPS 확산 사후 샘플링
DPS는 확산 모델의 생성 과정에 관측 정보를 반영해 잡음이 있는 역문제의 해를 근사 샘플링하는 방법이다. 선형 문제뿐 아니라 비선형 관측과 여러 잡음 통계도 다룬다.
DDNM
DDNM은 선형 관측의 영공간 성분을 확산 모델로 정제하는 영상 복원 방법이다. 기존 확산 모델을 생성 사전 정보로 활용하면서 관측에 맞는 결과와 자연스러운 결과를 함께 추구한다.
DDRM
DDRM은 사전 학습된 잡음 제거 확산 모델을 이용해 선형 영상 역문제의 복원 결과를 샘플링하는 방법이다. 관측과 영상 사전 정보를 결합해 흐림 제거, 초해상도와 누락 영역 복원 등을 다룬다.
SR3
SR3는 저해상도 이미지를 조건으로 잡음에서 고해상도 영상을 점진적으로 생성하는 확산 기반 초해상도 방법이다. 여러 잡음 수준에서 학습한 U-Net을 반복 적용해 출력을 정제한다.
SRDiff
SRDiff는 저해상도 이미지를 조건으로 확률적인 고해상도 결과를 생성하는 단일 이미지 초해상도 확산 모델이다. 잡음에서 영상을 점진적으로 만드는 과정에 잔차 예측을 결합한다.
Swin2SR
Swin2SR은 Swin Transformer V2를 활용한 이미지 초해상도 및 복원 방법이다. 특히 압축으로 열화된 입력의 확대와 JPEG 인공 흔적 제거를 포함해 영상 복원 구조를 평가한다.
BSRGAN
BSRGAN은 흐림과 축소, 잡음 등의 순서를 다양하게 섞은 합성 열화로 학습하는 블라인드 초해상도 방법이다. 단순한 축소 모형과 실제 사진 사이의 차이를 줄이는 데 초점을 둔다.
LTE 초해상도
LTE는 이미지 질감의 주요 주파수를 추정해 연속 이미지 표현의 세부 복원을 돕는 방법이다. 초해상도 신경망과 함께 학습하며 좌표를 이미지 내용에 맞는 푸리에 정보로 변환한다.
SRNO
SRNO는 저해상도와 고해상도 이미지를 서로 다른 격자로 관측한 연속 함수로 보고 그 함수 공간 사이의 대응을 학습하는 초해상도 방법이다. 커널 적분과 Galerkin 계열 어텐션으로 넓은 공간 정보를 활용한다.
LIIF
LIIF는 이미지 좌표와 그 주변의 깊은 특징을 받아 해당 위치의 색을 예측하는 국소 암시적 이미지 함수다. 고정된 화소 배열 대신 연속 좌표에서 질의할 수 있는 표현으로 이미지를 다룬다.
Meta-SR
Meta-SR은 하나의 모델에서 정수가 아닌 배율을 포함한 여러 확대 비율을 처리하는 이미지 초해상도 방법이다. 배율에 따라 업스케일 필터의 가중치를 동적으로 예측하는 모듈을 이용한다.
IMDN
IMDN은 정보를 단계적으로 추출하고 중요도에 따라 융합하는 경량 이미지 초해상도 신경망이다. 정보 다중 증류 블록을 연속으로 구성하고 대비를 고려한 채널 어텐션으로 특징을 결합한다.
RDN 초해상도
RDN은 잔차 조밀 블록으로 여러 합성곱 층의 특징을 재사용하는 이미지 초해상도 신경망이다. 블록 내부의 국소 특징 융합과 블록 사이의 전역 특징 융합으로 계층별 정보를 결합한다.
ESRT
ESRT는 가벼운 합성곱 경로와 트랜스포머 경로를 결합하는 단일 이미지 초해상도 모델이다. 특징맵의 크기를 조절하는 합성곱망과 효율적인 다중 헤드 어텐션으로 처리 비용을 줄이려는 구조다.
RFDN
RFDN은 특징 증류 연결과 얕은 잔차 블록을 이용하는 경량 이미지 초해상도 신경망이다. 유용한 특징을 단계적으로 추출하면서 복원 품질과 모델 복잡도 사이의 균형을 목표로 한다.
DAT 초해상도
DAT는 공간과 채널 차원의 자기 어텐션을 번갈아 적용하는 이미지 초해상도 트랜스포머다. 연속 블록 사이의 정보 결합과 블록 내부의 적응적 상호작용을 함께 이용한다.
HAT 초해상도
HAT는 채널 어텐션과 윈도 자기 어텐션을 결합해 이미지 초해상도를 수행하는 트랜스포머다. 인접한 윈도 사이에도 정보를 전달해 복원에 활용하는 입력 범위를 넓히려는 구조다.
DPIR
DPIR은 학습한 잡음 제거기를 반복 복원 알고리즘 안에 넣어 여러 영상 역문제를 푸는 방법이다. 관측 모형에 맞추는 단계와 영상의 사전 정보를 반영하는 단계를 결합한다.
SADNet
SADNet은 영상의 위치별 질감과 경계에 맞추어 특징을 모으는 단일 이미지 잡음 제거 신경망이다. 변형 가능한 합성곱을 적용한 공간 적응 블록과 다중 규모 인코더 및 디코더를 사용한다.
MIRNet
MIRNet은 고해상도의 공간 정보를 유지하면서 여러 해상도의 문맥을 결합하는 이미지 복원 신경망이다. 병렬 특징 경로와 경로 사이의 정보 교환, 공간 및 채널 어텐션을 이용한다.
RIDNet
RIDNet은 실제 사진의 잡음을 다루기 위해 잔차 구조와 특징 어텐션을 결합한 단일 단계 블라인드 잡음 제거 신경망이다. 특징 채널 사이의 관계를 활용하고 저주파 정보가 흐를 경로를 둔다.
MAXIM 이미지 복원
MAXIM은 다중 축 게이트 MLP를 이용해 국소 정보와 넓은 범위의 정보를 결합하는 이미지 처리 구조다. U-Net 형태의 계층망과 특징 사이의 교차 게이팅을 이용하며 여러 영상 복원 작업에 적용한다.
Uformer
Uformer는 계층형 인코더와 디코더에 트랜스포머를 적용한 이미지 복원 구조다. 국소 윈도 어텐션과 학습 가능한 다중 규모 조절 모듈을 이용해 잡음, 흐림과 빗줄기 같은 열화를 다룬다.
DeblurGAN-v2
DeblurGAN-v2는 적대적 학습과 특징 피라미드를 이용해 단일 이미지의 움직임 흐림을 제거하는 모델이다. 생성기의 기반 신경망을 바꾸어 처리 속도와 복원 품질 사이의 선택 폭을 제공한다.
MIMO-UNet
MIMO-UNet은 하나의 U자형 신경망에서 여러 규모의 흐린 이미지를 입력받고 여러 규모의 복원 영상을 출력하는 디블러링 모델이다. 서로 다른 해상도의 정보를 활용하면서 여러 복원망을 연속으로 쌓는 비용을 줄이려는 설계다.
AECR-Net
AECR-Net은 맑은 이미지와 안개 낀 이미지를 함께 학습 신호로 이용하는 소형 안개 제거 모델이다. 복원된 표현을 맑은 영상 쪽으로 가깝게 하고 안개 영상과는 멀어지게 하는 대조 정규화를 사용한다.
MSBDN
MSBDN은 여러 규모의 특징과 오차 피드백을 결합해 안개를 제거하는 신경망이다. U-Net 계열 구조에 복원을 점진적으로 강화하는 디코더와 조밀한 특징 융합을 더한다.
GridDehazeNet
GridDehazeNet은 학습 가능한 전처리와 격자형 다중 규모 특징망을 이용하는 단일 이미지 안개 제거 모델이다. 서로 다른 해상도의 정보를 어텐션으로 결합하고 후처리로 최종 출력을 다듬는다.
FFA-Net
FFA-Net은 채널별 중요도와 화소별 중요도를 함께 학습해 안개 낀 이미지의 특징을 융합하는 복원 모델이다. 공간마다 다른 안개와 특징의 차이를 동일한 비중으로 처리하지 않도록 설계한다.
AOD-Net
AOD-Net은 대기 산란 모형을 재구성해 안개 낀 이미지에서 깨끗한 영상을 직접 추정하는 합성곱 모델이다. 투과율과 대기광을 각각 별도 단계에서 추정하는 대신 하나의 가벼운 복원 경로로 다룬다.
DehazeFormer
DehazeFormer는 단일 이미지의 안개 제거에 맞게 비전 트랜스포머의 정규화, 활성화와 공간 정보 집계를 조정한 모델이다. 분류용 구조를 그대로 적용하기보다 복원 작업에 적합한 구성을 연구한다.
RetinexNet
RetinexNet은 저조도 이미지를 반사 성분과 조명 성분으로 분해하고 조명을 조정해 밝기를 개선하는 모델이다. 저조도·정상 조도 쌍에서 반사 성분의 일관성과 조명의 평활성 같은 제약을 학습에 활용한다.
Zero-DCE
Zero-DCE는 저조도 이미지마다 화소별 비선형 밝기 곡선을 추정해 영상을 개선하는 방법이다. 정상 노출의 참고 이미지 대신 비참조 손실을 이용해 곡선 추정망을 학습한다.
CodeFormer
CodeFormer는 저품질 얼굴에서 이산 코드북의 코드를 예측해 복원하는 트랜스포머 모델이다. 학습된 코드북의 시각 표현과 전역 문맥을 사용하고 특징 변환으로 입력 충실도와 시각 품질의 균형을 조절한다.
GFPGAN
GFPGAN은 사전 학습한 얼굴 생성 모델의 정보를 활용해 저품질 얼굴 이미지를 복원하는 모델이다. 채널을 나누는 공간 특징 변환으로 입력의 단서와 생성 사전 정보를 결합한다.
ABME
ABME는 대칭적인 중간 운동으로 기준 프레임을 먼저 만들고 그 기준에서 비대칭 양방향 운동을 추정하는 영상 프레임 보간 방법이다. 동적 필터와 잔차를 생성하는 합성망으로 결과를 정제한다.
소프트맥스 스플래팅
소프트맥스 스플래팅은 여러 원본 화소가 같은 목표 위치에 대응할 때 가중치를 정규화해 결합하는 미분 가능한 전방 변형 연산이다. 영상 프레임 보간에서 입력과 특징 피라미드를 중간 시점으로 옮기는 데 사용한다.
DAIN
DAIN은 깊이 정보를 이용해 가림 관계를 고려하는 영상 프레임 보간 모델이다. 깊이 인지 광류 투영으로 가까운 표면의 정보를 우선하는 중간 흐름을 만들고 영상 및 문맥 특징을 결합한다.
Super SloMo
Super SloMo는 두 입력 프레임의 양방향 광류와 가시성 정보를 이용해 여러 중간 프레임을 생성하는 보간 모델이다. 중간 흐름을 근사한 뒤 정제하고 가려진 화소의 기여를 조절해 영상을 결합한다.
FILM 프레임 보간
FILM은 두 이미지 사이의 움직임이 큰 조건에서 중간 프레임들을 생성하는 보간 모델이다. 여러 스케일에서 가중치를 공유하는 특징 추출기와 통합 네트워크를 사용하고 특징 상관을 비교하는 손실로 학습한다.
RIFE
RIFE는 두 영상 프레임 사이 시점의 광류를 직접 추정해 중간 프레임을 생성하는 보간 방법이다. IFNet과 특권 증류 학습을 사용하며 시간 인코딩으로 보간 시점을 지정할 수 있다.
BasicVSR 플러스
BasicVSR 플러스는 원래 BasicVSR++로 표기하는 영상 복원 모델이다. 이차 격자 전파와 광류 안내 변형 정렬을 도입해 시간에 걸친 정보 전달 및 프레임 대응을 개선한다.
RVRT
RVRT는 짧은 영상 클립 안의 프레임들을 함께 처리하고 클립 사이에서는 순환적으로 정보를 전달하는 영상 복원 트랜스포머다. 안내된 변형 주의로 클립 사이 특징을 정렬하고 결합한다.
BasicVSR
BasicVSR는 영상 초해상도의 구성을 정보 전파, 정렬, 집계와 업샘플링의 네 기능으로 살펴 만든 기준선 모델이다. 추가 시간 정보를 활용하는 데 필요한 요소를 분석하고 간결한 복원 경로로 결합한다.
EDVR
EDVR는 여러 영상 프레임의 특징을 변형 합성곱으로 정렬하고 시간 및 공간 주의로 결합하는 영상 복원 모델이다. 피라미드와 계단식 정렬을 통해 큰 움직임을 다루며 초해상도 및 흐림 제거에 활용한다.
HINet
HINet은 중간 특징 채널의 절반에 인스턴스 정규화를 적용하는 블록을 사용한 이미지 복원 모델이다. 정규화하지 않은 특징도 함께 전달하며 두 하위 네트워크로 복원을 수행한다.
MPRNet
MPRNet은 손상 이미지를 여러 단계에서 점진적으로 복원하고 단계 사이에 특징을 전달하는 모델이다. 문맥 정보를 학습하는 인코더·디코더와 고해상도 정보를 유지하는 분기를 결합한다.
Palette 이미지 변환
Palette는 조건부 확산 모델로 여러 이미지 변환 작업을 다루는 통합 틀이다. 컬러화, 결손 채움, 잘린 화면의 확장과 JPEG 복원을 같은 접근에서 연구한다.
RePaint
RePaint는 사전 학습한 무조건 확산 모델의 역확산 과정에 보이는 이미지 영역을 반영해 결손을 채우는 방법이다. 원래 네트워크 자체를 인페인팅 조건부 모델로 다시 바꾸지 않고 표본화 과정을 조정한다.
EdgeConnect
EdgeConnect는 이미지의 결손 영역에서 경계를 먼저 생성하고 이를 조건으로 색과 질감을 채우는 두 단계 인페인팅 모델이다. 경계 생성기와 이미지 완성 네트워크를 적대적 학습으로 구성한다.
StructureFlow
StructureFlow는 이미지 인페인팅을 구조 복원과 질감 생성으로 나눈 모델이다. 경계를 보존한 평활 영상으로 구조를 학습하고 복원한 구조를 바탕으로 외형 흐름을 사용해 세부를 생성한다.
게이트 합성곱 인페인팅
게이트 합성곱 인페인팅은 각 위치와 채널에서 사용할 특징을 학습된 게이트로 선택하는 이미지 채움 방법이다. 자유로운 모양의 마스크와 안내 입력을 다루며 패치 기반 적대적 손실을 함께 사용한다.
부분 합성곱 인페인팅
부분 합성곱 인페인팅은 결손 영역의 임시 값을 유효한 화소처럼 합성곱에 넣지 않도록 마스크와 재정규화를 사용하는 이미지 채움 방법이다. 순전파 중 마스크를 갱신해 다음 층에 전달한다.
LaMa 이미지 복원
LaMa는 이미지의 큰 결손 영역을 채우기 위해 푸리에 합성곱과 넓은 수용 범위의 지각 손실을 사용하는 인페인팅 모델이다. 큰 마스크로 학습해 멀리 떨어진 구조와 반복 패턴의 단서를 활용한다.
MAT 이미지 인페인팅
MAT는 큰 결손 영역을 채우기 위해 유효한 입력 토큰을 마스크로 구분하는 트랜스포머 기반 모델이다. 동적으로 변하는 마스크를 이용한 비국소 정보 집계와 합성곱을 결합해 고해상도 이미지를 처리한다.
Neighbor2Neighbor
Neighbor2Neighbor는 하나의 잡음 이미지에서 이웃 화소를 표본화해 학습 쌍을 만드는 자기지도 잡음 제거 방법이다. 두 부분 이미지의 대응 위치가 가까운 원본 화소가 되도록 구성하고 추가 정규화로 학습한다.
Self2Self
Self2Self는 처리할 잡음 이미지 한 장만으로 학습하고 여러 예측을 평균해 복원하는 자기지도 잡음 제거 방법이다. 베르누이 표본화한 이미지 쌍과 드롭아웃을 학습 및 예측에 활용한다.
Deep Image Prior
Deep Image Prior는 대규모 이미지 사전 학습 없이 신경망 구조 자체의 편향을 이미지 복원에 활용하는 방법이다. 무작위 초기화한 생성망을 현재 손상 관측에 맞게 최적화하며 잡음 제거와 초해상도 및 결손 복원을 다룬다.
Noise2Self
Noise2Self는 잡음이 있는 고차원 관측만으로 잡음 제거기의 성능을 추정하고 매개변수를 조정하는 자기지도 틀이다. 예측 대상 부분의 입력에 의존하지 않는 J-불변 함수와 잡음의 독립성을 활용한다.
Noise2Void
Noise2Void는 깨끗한 정답이나 서로 짝지은 잡음 영상 없이 단일 잡음 이미지들에서 잡음 제거를 학습하는 방법이다. 예측할 화소 자체를 가리고 주변 정보를 이용하는 블라인드 스폿 학습을 사용한다.
Noise2Noise
Noise2Noise는 깨끗한 정답 이미지 대신 같은 신호를 독립적으로 손상시킨 관측 쌍으로 복원 모델을 학습하는 방법이다. 손상과 손실 함수의 통계 조건이 맞으면 잡음이 있는 목표에서도 유용한 복원을 학습할 수 있다.
DnCNN
DnCNN은 잔차 학습과 배치 정규화를 활용하는 이미지 잡음 제거 합성곱 신경망이다. 손상된 입력에서 제거할 잔차를 학습하며 알려지지 않은 잡음 세기의 가우시안 잡음 제거도 다룬다.
FFDNet
FFDNet은 잡음 세기 맵을 추가 입력으로 받아 제거 강도를 조절하는 이미지 잡음 제거 모델이다. 위치마다 다른 잡음 조건을 표현할 수 있고 다운샘플링한 부분 이미지에서 연산하는 구성을 사용한다.
EDSR
EDSR는 이미지 초해상도에 맞게 잔차 신경망의 구성을 단순화하고 모델 용량을 확장한 복원 모델이다. 기존 잔차 구조의 일부 불필요한 요소를 줄이면서 큰 모델을 안정적으로 학습하는 설계를 사용한다.