규모와 생성 사전
생성 모델의 사전 정보와 모델 규모 확대를 영상 복원에 활용한다. 고해상도 이미지와 설명 텍스트가 함께 있는 대규모 자료로 학습한다. 모델이 크다는 사실만으로 모든 입력의 세부가 정확히 복원되는 것은 아니다.
텍스트로 복원 방향 지정
프롬프트로 원하는 복원 방향을 전달할 수 있다. 부정적인 품질 프롬프트도 지각 품질 개선을 위해 사용한다. 텍스트가 모호한 관측에 영향을 줄 수 있으므로 입력에서 확인되는 내용과 생성된 해석은 구분해야 한다.
관측과 조건의 차이
설명용으로 흐린 옷감 사진에 줄무늬가 보이지 않는다고 하자. 텍스트 조건을 줄무늬로 지정해 그럴듯한 패턴이 생겨도 원래 옷감이 줄무늬였다는 증거는 아니다. 생성 제어와 사실 복원의 차이를 보여주는 예이며 특정 실험 결과를 옮긴 것은 아니다.
충실도를 다루는 샘플링
복원 가이드 샘플링으로 생성 기반 복원의 충실도 문제를 줄이는 방향을 연구한다. 자연스러운 세부와 입력 구조의 보존을 함께 평가해야 한다. 프롬프트와 생성 조건을 바꿨을 때의 차이를 확인하고 큰 모델의 전체 메모리 및 실행 비용도 함께 살핀다.