한 번의 예측을 여러 단계로 나누기
복원에는 주변 문맥과 세밀한 화소 정보가 모두 필요하다. MPRNet은 한 단계에만 모든 처리를 맡기지 않고 점진적으로 복원하도록 구성한다. 단계가 많다는 사실만으로 이전 단계의 오류가 반드시 줄어드는 것은 아니다.
문맥과 고해상도의 연결
초기에는 인코더·디코더로 문맥을 처리하고 이후 고해상도 분기와 결합해 국소 정보를 유지한다. 단계별 감독을 활용하는 화소별 주의도 사용한다. 여러 단계가 단순히 독립된 복원 모델을 이어 붙인 것과는 정보 전달 구성이 다르다.
같은 비용의 다른 경로 예
설명용으로 세 단계가 각각 4밀리초 걸리면 순차 연산은 최소 12밀리초가 필요하다. 정보를 넘기는 비용과 전처리는 별도다. 여러 단계가 있어도 병렬로 모두 동시에 끝난다고 계산할 수는 없다. 이 수는 실제 모델의 측정 결과가 아니다.
단계별 기여의 평가
이전 단계에서 다음 단계로 이어지는 연결뿐 아니라 처리 블록 사이의 측면 연결도 정보 손실을 줄이려는 구성이다. 전체 모델과 연결을 바꾼 모델을 비교해야 기여를 판단하기 쉽다. 손상 종류, 해상도와 학습 조건을 맞추고 복원 품질 및 전체 실행 비용을 함께 확인한다.