위키득계정 ↗
기술

ABAIR

ABAIR기술
전체 이름
Adaptive Blind All-in-One Image Restoration
초기 학습
여러 합성 손상을 적용한 자연 이미지
손상 인식
픽셀별 열화 종류 추정
적응 구성
독립 저랭크 어댑터의 결합
ABAIR는 손상 유형을 알지 못하는 이미지의 복원을 위해 저랭크 어댑터를 개별적으로 특화한 뒤 적응적으로 결합하는 방법이다. 픽셀별 열화 추정과 가벼운 추정기를 이용해 서로 다른 복원 처리를 연결한다.

모르는 손상을 다루는 문제

블라인드 통합 복원은 입력에 어떤 손상이 있는지 외부에서 지정하지 않고 고품질 이미지를 얻으려는 과제다. 훈련에 포함되지 않은 손상이나 복합 손상에 대응하는 능력은 훈련된 손상 복원과 구분해서 살펴야 한다.

위치별 열화 학습

ABAIR는 여러 합성 열화를 적용한 자연 이미지로 기본 모형을 먼저 학습한다. 손상 인식을 보완하기 위해 픽셀별 열화 종류를 추정하는 분할 헤드를 포함한다. 위치별 추정은 손상이 화면 전체에 균일하다는 가정과 다르다.

특화한 뒤 조합하기

독립적인 저랭크 어댑터로 서로 다른 복원 과제에 적응한 뒤, 유연하고 가벼운 열화 추정기로 어댑터를 결합하는 법을 학습한다. 새로운 손상에 적응할 때 일부 매개변수를 학습하는 접근이다. 모든 미지의 손상을 자동으로 해결한다는 보장은 아니다.

공간 차이의 독립 예

설명용으로 사진 한쪽에는 빗물이 흐르고 다른 쪽에는 어두운 실내 잡음이 보일 수 있다. 사진 전체에 하나의 손상 이름을 붙이는 것만으로 위치별 차이를 설명하기 어렵다. 실제 실험을 옮기지 않은 지역 손상 인식의 예다.

관련 문서

LoRA-IR / DaAIR / AdaIR / PromptIR / ClearAIR / MPerceiver