위키득계정 ↗
기술

RAM 이미지 복원

RAM 이미지 복원기술
전체 이름
Restore Anything with Masks
첫 단계
마스크 이미지 사전 학습
두 번째 단계
선택적 미세 조정
층 선택 기준
Mask Attribute Conductance 또는 MAC
RAM은 손상 종류를 구별하는 대신 마스크 이미지 모델링으로 이미지 내용의 사전 정보를 학습하는 블라인드 통합 복원 방법이다. 마스크 사전 학습 후 층별 기여도를 평가해 일부 층만 미세 조정한다.

내용의 공통 정보를 학습하기

여러 손상에서 복원에 필요한 이미지 내용은 공통 단서가 될 수 있다. RAM은 손상 종류를 구분하는 방향보다 마스크 이미지 모델링으로 이미지 내부의 정보를 추출하는 방향을 택한다. 이름의 범용성이 모든 입력의 복원 보장을 뜻하지는 않는다.

마스크 사전 학습

통합 복원을 위한 마스킹 사전 학습으로 여러 손상에서 이미지 내용의 사전 정보를 우선 추출하도록 한다. 가려진 입력으로 학습하는 조건과 실제 복원 입력의 완전성에는 차이가 생길 수 있다.

기여도에 따른 층 선택

학습한 사전 정보를 최대한 유지하면서 입력 조건의 차이를 줄이기 위해 일부 층만 선택적으로 미세 조정한다. MAC으로 층의 중요도를 순위화하고 기여도가 높은 층을 고르는 구성이다.

마스크와 손상의 독립 예

설명용으로 타일 일부를 가리면 주변 반복에서 패턴을 추론할 수 있지만, 전체 타일이 흐린 경우에는 관측된 경계 자체가 달라진다. 가림을 채우는 학습과 흐린 관측을 복원하는 조건은 같지 않다. 실제 연구 사례를 옮기지 않은 학습 조건의 예다.

관련 문서

마스크 자동 인코더 / ABAIR / DaAIR / PromptIR / LoRA-IR / MoCE-IR