모양을 먼저 정하기
큰 결손 영역을 한 번에 채우면 구조가 흐려질 수 있다. EdgeConnect는 경계 생성기로 가능한 모양을 먼저 제안하고 이미지 완성부가 이를 활용하도록 한다. 생성한 경계는 실제 가려진 구조를 측정한 값이 아니라 학습된 추정이다.
경계가 주는 조건
선이나 윤곽은 물체의 형태와 영역 사이의 관계를 알려줄 수 있다. 완성 네트워크는 추정한 경계를 사전 단서로 사용해 세부를 채운다. 같은 경계에서도 여러 색과 질감이 가능하므로 경계만으로 결과가 유일하게 결정되지는 않는다.
다른 연결이 가능한 예
설명용으로 결손 양쪽에 선 끝점이 두 개씩 보인다고 하자. 수평으로 이어지는 구조와 서로 꺾여 연결되는 구조가 모두 가능할 수 있다. 경계 생성 단계가 어느 연결을 택하는지가 이후 채움에 영향을 준다. 그럴듯한 연결이 원래 장면과 같다는 보장은 없다.
단계별 오류의 평가
잘못된 경계는 다음 단계의 질감 생성에도 이어질 수 있다. 최종 이미지뿐 아니라 경계 추정의 타당성과 보이는 영역의 보존을 확인해야 한다. 규칙적인 마스크와 불규칙한 마스크, 결손 크기를 나누고 전체 구조 및 국소 선명함과 실행 비용을 함께 비교한다.
관련 문서
StructureFlow / LaMa 이미지 복원 / MAT 이미지 인페인팅 / 부분 합성곱 인페인팅 / 게이트 합성곱 인페인팅 / 합성곱 신경망