넓은 빈 영역의 어려움
작은 흠집은 가까운 주변에서 단서를 얻기 쉬울 수 있지만 넓은 영역이 비면 더 먼 구조가 중요하다. LaMa는 이미지 전역의 정보를 처리하는 푸리에 합성곱으로 이 문제를 다룬다. 푸리에 변환이 가려진 원본 화소를 직접 복원해 주는 것은 아니다.
네트워크와 손실의 범위
입력 정보를 넓게 보는 구조뿐 아니라 결과를 평가하는 지각 손실의 수용 범위도 중요하게 다룬다. 큰 학습 마스크가 이런 요소를 활용하도록 한다. 구조, 손실과 마스크가 함께 바뀌므로 결과를 한 연산의 효과로 모두 해석할 수는 없다.
반복 구조의 모호함 예
설명용으로 세로줄 간격이 10화소인 벽에서 넓은 부분이 가려졌다고 하자. 주변 간격으로 이어질 무늬를 추정할 수 있지만 가려진 부분에 문이나 얼룩이 있었는지는 알 수 없다. 규칙에 맞는 채움과 원래 내용의 확인은 다르다.
해상도와 결과 평가
학습보다 높은 해상도에 적용한 결과도 연구하지만 모든 크기와 결손 모양에서 같은 품질을 보장하지는 않는다. 마스크 크기 및 위치, 복잡한 기하 구조를 나누어 확인한다. 연결 경계와 전체 장면의 일관성, 지각적 품질 및 실행 비용을 함께 비교한다.
관련 문서
MAT 이미지 인페인팅 / Deep Image Prior / Restormer / SwinIR / 푸리에 변환 / 합성곱 신경망