모델과 표본화 과정의 구분
이미지를 생성하는 사전 학습 모델과 관측을 반영해 결과를 만드는 표본화 과정은 구분된다. RePaint는 보이는 영역의 정보를 이용해 역확산 반복을 조정한다. 별도의 조건부 네트워크로 원래 모델의 구조를 수정하는 방식과 차이가 있다.
보이는 영역의 제약
결손 밖의 관측은 생성 결과가 따라야 할 단서다. 가려진 부분은 생성 사전 지식을 이용해 채운다. 보이는 부분이 같아도 결손의 가능한 내용은 여러 가지이므로 한 출력이 원래 장면의 유일한 복원이라고 할 수 없다.
가려진 색의 예
설명용으로 같은 회색 벽 양쪽이 보이고 중앙이 가려졌다면 중앙에도 벽이 이어질 수 있다. 하지만 작은 그림이 걸렸던 장면도 같은 관측을 남긴다. 관측 영역과 일치하는 서로 다른 해가 가능하다는 예이며 특정 생성 결과를 보장하지 않는다.
마스크와 반복 비용
표준 마스크와 매우 큰 결손처럼 서로 다른 형태에서 결과를 평가해야 한다. 역확산 반복과 표본화 설정은 품질 및 지연에 영향을 준다. 같은 입력과 마스크에서 여러 결과의 다양성, 관측 영역의 보존 및 전체 구조를 함께 확인하고 단일 순전파 모델의 비용과 구분한다.
관련 문서
Palette 이미지 변환 / LaMa 이미지 복원 / MAT 이미지 인페인팅 / EdgeConnect / StructureFlow / Deep Image Prior