별도 촬영 쌍 대신 이웃 활용
같은 장면을 독립 잡음으로 두 번 촬영하지 못해도 한 이미지 안의 인접 화소는 비슷한 신호를 가질 수 있다. Neighbor2Neighbor는 이런 이웃 관계로 입력과 목표 부분 이미지를 만든다. 인접한 두 값이 실제로 항상 같은 깨끗한 신호라는 뜻은 아니다.
표본화와 정규화
무작위 이웃 표본화로 생성한 쌍에서 잡음 제거기를 학습하고 정규화 항으로 결과를 보완한다. 특정 복잡한 잡음 분포 모형에 강하게 의존하지 않는 것을 지향한다. 하지만 이웃의 유사성과 잡음 조건 같은 전제를 모두 없애는 방법은 아니다.
이웃이 다른 신호인 예
설명용으로 두 화소가 평평한 배경에 있으면 깨끗한 값이 둘 다 10일 수 있다. 그러나 경계를 가로지르면 10과 30처럼 달라질 수 있다. 두 경우의 관측 차이를 모두 잡음이라고 처리하면 경계가 흐려질 수 있다. 실제 손실 함수 전체를 나타낸 예는 아니다.
정보량과 평가 조건
부분 이미지 쌍은 원본에서 파생한 것이므로 새로운 독립 관측을 촬영한 것과 정보량이 같지 않다. 얇은 선과 작은 질감 및 공간적으로 상관된 잡음을 나누어 확인해야 한다. 입력 색 공간, 잡음 조건과 학습 자료를 맞춰 정답 기반 방법 및 다른 자기지도 방법과 비교한다.
관련 문서
Noise2Noise / Noise2Void / Noise2Self / DnCNN / FFDNet / 자기지도 학습