직접적인 정답이 없는 조건
일반적인 감독 학습에는 깨끗한 영상이 필요하고 Noise2Noise에는 같은 장면의 독립적인 잡음 쌍이 필요하다. GAN2GAN은 그런 쌍이 없는 조건을 다룬다. 여기서 개별 영상이라는 말은 전체 학습 자료가 반드시 한 장뿐이라는 뜻은 아니다.
생성 모형이 만드는 자료
먼저 주어진 영상의 잡음을 흉내 내는 생성 모형을 학습한다. 동시에 깨끗한 영상에 대한 거칠고 잡음이 남은 추정도 만든다. 생성 모형으로 합성한 잡음 영상 쌍을 이용해 이후 잡음 제거기를 반복적으로 학습한다.
가정의 경계
잡음에 대해 평균이 0이고 신호에 더해지며 깨끗한 영상과 독립이라는 조건을 둔다. 실제 촬영 잡음이 이 조건을 벗어나면 같은 해석을 적용하기 어렵다. 블라인드라는 이름이 잡음에 아무 가정도 없다는 뜻은 아니다.
두 관측을 복제하는 일과의 차이
설명용 신호 10에 독립 잡음 1과 -2가 더해지면 관측은 11과 8이다. 11을 두 번 복사한 값은 서로 독립적으로 생긴 잡음 쌍이 아니다. 이는 쌍 학습의 조건을 설명하는 예이며 논문의 생성기 출력이나 실제 자료를 재현하지 않는다.
관련 문서
PN2V / Noise2Noise / Noise2Void / Noise2Self / DnCNN / FFDNet