화소 대신 코드 예측
손상된 얼굴의 화소를 바로 복원하는 대신 작은 대리 표현 공간의 코드를 예측하는 문제로 구성한다. 코드북은 얼굴을 생성할 시각 요소를 제공한다. 코드 번호가 현실의 인물 이름이나 신원 식별자를 뜻하는 것은 아니다.
전역 문맥의 활용
트랜스포머는 저품질 얼굴의 전체적인 구성과 문맥을 처리해 코드 예측에 활용한다. 관측에 없는 세부는 사전 정보에 의존할 수 있다. 얼굴처럼 보이는 결과와 원본의 세부를 정확히 되살린 결과를 구분해야 한다.
이산 선택의 예
설명용 코드북 후보가 세 개이고 모델 점수가 각각 1, 4, 2라면 두 번째 후보가 가장 높다. 가장 높은 점수를 골랐다는 사실만으로 실제 정답 코드라고 확정할 수는 없다. 실제 모델의 코드 수나 확률 계산을 지정한 예가 아니라 선택의 모호함을 보여준다.
품질 조절과 평가
제어 가능한 특징 변환은 입력 충실도와 시각 품질 사이의 균형을 조절한다. 설정을 바꾸면 얼굴 특징이 달라질 수 있어 같은 설정에서 비교해야 한다. 자연스러움, 원본 특징 보존과 손상 조건별 오차를 나누고 전처리 및 전체 추론 비용도 포함해 평가한다.
관련 문서
GFPGAN / Real-ESRGAN / SwinIR / Restormer / 비전 트랜스포머 / 트랜스포머