이미지를 조건으로 생성하기
무조건 새 이미지를 만드는 문제와 주어진 관측에 맞는 결과를 만드는 문제는 다르다. Palette는 입력 이미지의 정보를 조건으로 확산 모델을 학습한다. 작업마다 입력에서 남아 있는 정보와 만들어야 하는 정보가 달라진다.
통합 틀과 여러 작업
흑백 사진에 색을 넣는 일과 결손 영역을 채우는 일, 잘린 화면 바깥을 생성하는 일은 제약이 다르다. Palette는 공통 확산 틀에서 이를 비교하고 여러 작업을 함께 학습한 모델도 연구한다. 통합이라는 말이 모든 이미지 변환을 검증했다는 뜻은 아니다.
색 복원의 모호함 예
설명용 밝기 모형 Y=0.5R+0.5G에서 (R, G)=(1, 0)과 (0, 1)은 모두 Y=0.5다. 같은 밝기 관측에서 다른 색이 가능하다. 실제 색 공간 변환식을 뜻하지 않으며 컬러화에서 생성한 색을 원래 색의 확인으로 볼 수 없다는 예다.
품질과 다양성의 평가
연구는 잡음 제거 목표의 손실 선택이 표본 다양성에 주는 영향도 다룬다. 하나의 화소 오차 지표만으로 그럴듯함과 다양한 결과를 모두 판단하기 어렵다. 작업별 관측 보존과 시각 품질을 함께 확인하고 생성 반복 수 및 전체 계산량을 맞춰 비교한다.
관련 문서
RePaint / LaMa 이미지 복원 / MAT 이미지 인페인팅 / Real-ESRGAN / SwinIR / Deep Image Prior