게이트 합성곱 인페인팅

고정된 유효성보다 유연한 선택

입력 화소를 모두 유효하게 읽으면 결손의 임시 값이 특징에 섞일 수 있다. 게이트 합성곱은 특징을 얼마나 전달할지를 데이터에서 학습한다. 위치뿐 아니라 채널별 선택을 다뤄 고정된 이진 마스크보다 유연하게 정보를 처리한다.

특징과 게이트의 곱

특징 값과 선택 게이트를 결합해 전달할 정보를 조절한다. 게이트가 크다고 해당 특징이 실제로 올바른 원본 정보라는 확률을 뜻하지는 않는다. 네트워크가 채움 작업을 수행하도록 학습한 내부 조절 값이다.

채널별 선택의 예

설명용으로 한 위치의 특징이 (2, 6)이고 게이트가 (0.5, 0.1)이면 곱한 결과는 (1, 0.6)이다. 채널마다 다른 비중으로 정보를 남길 수 있다. 실제 게이트 값과 출력은 학습 결과에 따라 달라지며 이 수는 논문 실험값이 아니다.

패치 손실과 결과 품질

스펙트럼 정규화 판별기를 조밀한 패치에 적용하는 SN-PatchGAN 손실을 사용한다. 국소 패치가 그럴듯해도 전체 구조가 모순될 수 있어 둘을 함께 확인해야 한다. 마스크 형태와 결손 비율, 안내 입력의 조건을 맞춰 채움 품질과 보이는 영역의 보존 및 실행 비용을 비교한다.