깨끗한 이미지 대신 잔차 배우기
관측을 깨끗한 신호와 잡음의 합으로 두면 제거할 부분을 예측해 입력에서 뺄 수 있다. DnCNN은 이런 잔차 학습을 활용한다. 잔차가 항상 실제 센서 잡음만을 담는 것은 아니며 손상 모형과 학습 자료에 따라 달라진다.
잡음 세기를 모르는 조건
특정 잡음 세기마다 별도 모델을 만드는 설정과 달리 모르는 가우시안 잡음 세기를 다루는 구성을 연구한다. 여기서 블라인드라는 말이 모든 실제 잡음 분포를 알아서 처리한다는 뜻은 아니다. 가우시안 가정과 실제 카메라 잡음의 차이를 확인해야 한다.
잔차 오차의 예
설명용으로 관측 값 0.7에서 예측 잔차 0.1을 빼면 복원 값은 0.6이다. 실제 깨끗한 값이 0.65였다면 잔차를 0.05만큼 과하게 제거한 것이다. 출력이 매끈해졌다는 사실만으로 복원이 정확하다고 판단할 수는 없다.
여러 복원 작업과 평가
연구는 잡음 제거 외에 초해상도 및 JPEG 블록 손상 같은 작업도 잔차 관점에서 다룬다. 작업별 정답과 입력 조건을 구분해야 한다. 작은 질감이 잡음처럼 지워지는지 확인하고 잡음 분포, 색 공간 및 해상도를 맞춰 화소 오차와 시각 품질 및 지연을 비교한다.