빈 영역의 값은 관측이 아니다
결손 부분에 0이나 평균색을 넣어도 그것은 실제 장면을 관측한 화소가 아니다. 일반 합성곱이 이를 그대로 읽으면 임시 값이 결과에 영향을 줄 수 있다. 부분 합성곱은 마스크로 유효한 입력만 연산에 반영한다.
재정규화와 갱신
유효한 화소 수를 고려해 합성곱 응답을 재정규화하고 다음 층에서 사용할 마스크를 갱신한다. 경계 가까이의 관측을 이용해 특징을 점차 전달하는 구성이다. 마스크가 갱신된 위치를 실제 원본 화소를 새로 측정한 것으로 해석하면 안 된다.
평균의 차이 예
설명용으로 실제 관측이 4와 8이고 결손 두 곳을 0으로 채우면 네 값의 평균은 3이다. 유효한 두 관측의 평균은 6이다. 결손 값을 제외하는 이유를 보여주며 실제 부분 합성곱이 모든 커널에서 단순 평균만 계산한다는 뜻은 아니다.
불규칙한 마스크의 평가
작은 흠집과 큰 구멍, 얇고 길게 이어진 결손은 정보 조건이 다르다. 마스크 모양과 결손 비율을 나누어 확인해야 한다. 채운 영역의 색 및 경계와 전체 구조를 함께 평가하고 자연스러운 결과를 원래 가려진 내용의 사실 확인으로 취급하지 않는다.
관련 문서
게이트 합성곱 인페인팅 / LaMa 이미지 복원 / MAT 이미지 인페인팅 / Deep Image Prior / 합성곱 신경망 / SwinIR