분석과 실행의 분리
계획기는 손상된 이미지를 분석하고 간결한 주파수 인식 계획을 만든다. 실행기는 그 계획을 바탕으로 복원한다. 하나의 안내 표현에 모든 손상을 담는 대신 판단과 이미지 생성을 나누어 설계한다.
주파수에 따른 전문가 선택
확산 실행기는 LoRA 전문가 혼합을 사용한다. 입력의 주파수 특징으로 저주파와 고주파 전문가를 동적으로 선택한다. 전문가의 선택은 입력 특성에 따른 처리 경로이며 이미지의 특정 좌표만 담당한다는 뜻은 아니다.
학습에서 고려하는 항목
적대적 학습과 주파수 정규화 손실을 이용한다. 눈에 보이는 복원 결과와 주파수 성분을 함께 다루는 구성이다. 생성 결과가 자연스럽다는 평가와 실제 피사체의 세부를 보존했다는 평가는 별도로 확인해야 한다.
서로 다른 손상의 독립 예
설명용으로 흐린 간판의 큰 밝기 변화는 유지되지만 가는 획은 사라질 수 있다. 저주파 구조를 맞추는 일만으로 글자가 복원되지는 않는다. 반대로 획처럼 보이는 세부를 만들어도 원래 문자를 확인한 것은 아니다. 실제 실험을 옮기지 않은 주파수와 충실도의 예다.
관련 문서
LoRA-IR / LoRA / MPerceiver / ClearAIR / PromptIR / InstructRestore