복원 목표를 문장으로 전달하기
사용자는 손상 이름만 고르는 대신 원하는 보완을 자연어로 전달할 수 있다. InstructIR은 사람이 쓴 지시를 복원망의 안내로 사용하는 접근이다. 어떤 결과를 원하는지 표현하는 일과 실제 복원이 정확한지는 나누어 평가해야 한다.
통합된 여러 복원 과제
여러 종류와 수준의 열화를 고려해 깨끗한 결과를 만드는 것을 목표로 한다. 잡음과 비, 흐림과 안개 제거, 저조도 보완에서 평가한다. 여러 과제를 다룬다는 사실만으로 자유로운 모든 문장이나 새 손상에 대한 성능이 보장되지는 않는다.
자료와 벤치마크의 역할
지시 기반 이미지 복원과 향상 연구를 위한 자료 및 결과를 제공한다. 복원 품질과 지시 이해가 함께 중요한 평가 대상이다. 단순한 자동 복원 모형과 비교할 때는 사용자가 추가로 주는 정보의 차이도 확인해야 한다.
같은 입력의 다른 목표
설명용으로 야간 사진의 어둠을 유지하면서 잡음만 줄이라는 요청과 전체를 밝게 하라는 요청은 다르다. 밝아진 결과가 언제나 더 충실한 지시 수행은 아니다. 실제 연구의 지시문을 옮기지 않은 상호작용 복원의 예다.
관련 문서
TextPromptIR / PromptIR / PIP 이미지 복원 / PromptCIR / InstructPix2Pix / DIIP