먼저 학습하는 열화 표현
첫 단계는 열화 안내 사전 학습이다. 더 높은 해상도의 이미지를 다루도록 CLIP 기제를 활용하고 강건한 열화 표현을 학습해 복원을 안내한다. 장면에 어떤 물체가 있는지와 어떤 손상이 있는지는 다른 정보다.
저랭크 전문가로 적응하기
두 번째 단계는 LoRA를 이용한 매개변수 효율적 미세 조정이다. 열화 안내 라우터를 갖춘 전문가 혼합이 저랭크 전문가를 동적으로 통합한다. 전문가를 나누는 설계와 모든 모델을 독립적으로 학습하는 설계는 구분해야 한다.
효율을 읽는 기준
조정하는 매개변수가 줄었다고 전체 추론 비용이 같은 비율로 줄지는 않는다. 실제 비용에는 기본 모형과 전문가 결합의 연산도 포함된다. 학습 효율과 처리 시간은 각각 측정해야 한다.
라우팅의 독립 예
설명용으로 두 사진이 모두 어두워도 하나는 잡음이 많고 다른 하나는 움직임 번짐이 클 수 있다. 밝기만 보고 같은 처리를 고르면 필요한 보정이 달라지는 문제를 놓친다. 실제 연구의 분류표를 옮기지 않은 열화 표현과 처리 선택의 예다.
관련 문서
FAPE-IR / LoRA / CLIP / PromptCIR / TextPromptIR / PIP 이미지 복원