입력에 부족한 얼굴 세부
매우 흐리거나 작은 얼굴에서는 눈과 입의 세부 단서가 부족할 수 있다. GFPGAN은 얼굴 생성 모델이 학습한 시각 정보를 활용한다. 생성 사전 정보는 그럴듯한 외형의 단서이지 해당 인물의 원래 세부를 보관한 자료는 아니다.
사전 정보와 관측의 균형
공간 특징 변환을 통해 입력의 정보를 복원 과정에 반영한다. 현실감과 입력에 대한 충실도를 함께 다루려는 구성이다. 더 자연스러워 보이는 얼굴이 반드시 원본 인물의 특징을 더 정확히 유지하는 것은 아니다.
평균색의 모호함 예
설명용으로 밝기 (0, 1)과 (0.5, 0.5)를 각각 평균 축소하면 모두 0.5다. 같은 저해상도 관측에서 서로 다른 세부가 가능하다. 실제 얼굴 복원은 훨씬 복잡하지만 정보가 사라진 입력의 모호함을 보여주며 생성한 눈매를 사실로 확인하는 근거가 되지 않는다.
실행과 복원 평가
이미지별 생성 모델 역산을 오래 수행하는 방식과 달리 단일 순전파로 세부와 색을 개선하는 구성을 제시한다. 실제 속도에는 얼굴 검출 및 정렬 같은 전처리도 영향을 준다. 복원 품질과 인물 특징 보존을 따로 확인하고 입력 손상 및 전체 실행 비용을 맞춰 비교한다.
관련 문서
CodeFormer / Real-ESRGAN / SwinIR / NAFNet / Restormer / 합성곱 신경망