구조와 질감의 다른 역할
벽과 창문의 큰 배치와 벽돌의 작은 무늬는 서로 다른 수준의 정보다. StructureFlow는 큰 구조를 먼저 복원하고 그 조건에서 질감을 생성하도록 나눈다. 두 단계로 나눴다는 사실만으로 모든 기하학적 모순이 사라지지는 않는다.
평활 영상의 구조 단서
구조 복원기는 경계를 보존하면서 세부 질감을 줄인 영상을 학습에 사용한다. 이후 질감 생성기는 복원한 구조를 바탕으로 외형 흐름을 활용한다. 여기서 외형 흐름은 인페인팅의 특징 전달을 위한 것이며 실제 영상의 시간별 물체 속도를 측정한다는 뜻은 아니다.
평균색만으로 부족한 예
설명용으로 밝기 0과 1이 번갈아 나오는 줄무늬의 평균은 0.5다. 같은 평균의 균일한 회색도 0.5지만 질감은 다르다. 큰 밝기 구조가 맞아도 세부 무늬의 복원은 별도 문제라는 점을 보여주며 모델의 실제 손실 식은 아니다.
질감과 전역 일관성
구조 단계의 오류가 질감 생성에 영향을 줄 수 있고 세부가 선명해도 전체 배치가 틀릴 수 있다. 결손 비율과 반복 구조 및 복잡한 경계를 나누어 확인한다. 최종 결과를 원본 관측의 대체 사실로 해석하지 않고 경계 연결, 보이는 영역의 보존과 계산 비용을 함께 평가한다.
관련 문서
EdgeConnect / LaMa 이미지 복원 / MAT 이미지 인페인팅 / 게이트 합성곱 인페인팅 / 부분 합성곱 인페인팅 / 광류