품질 표현을 먼저 배우기
많은 주관적 점수 정답이 없어도 품질 관련 표현을 학습하는 문제를 다룬다. 합성 왜곡과 실제 왜곡이 섞인 이미지 자료에서 왜곡 종류 및 정도 예측을 보조 과제로 사용한다. 합성곱망은 쌍별 대조 목적을 통해 특징을 배운다.
특징망과 회귀기의 분리
평가 단계에서는 CNN 가중치를 고정하고 선형 회귀기로 품질 점수를 얻는다. 표현망을 다시 미세 조정하지 않는 조건에서 성능을 살핀다. 자기지도 표현 학습이라는 말이 최종 점수의 기준이나 회귀 단계까지 모두 주관 점수와 무관하다는 뜻은 아니다.
왜곡과 내용 구분의 예
설명용으로 고양이와 자동차 사진에 같은 수준의 흐림이 있다고 하자. 물체 종류는 달라도 품질 표현에서는 공유할 단서가 있을 수 있다. 같은 사진에 흐림과 압축 왜곡을 넣으면 다른 단서가 필요하다. 실제 학습 쌍이나 모델의 분류 결과가 아닌 과제 구분의 예다.
자료가 달라질 때
합성 왜곡과 실제 왜곡을 가진 이미지에서 일반화 능력을 평가한다. 특징이 품질과 관계된다고 모든 새 촬영 조건에서 정확한 점수가 보장되지는 않는다. 회귀기 학습 자료와 평가 자료, 입력 크기 및 왜곡 분포를 함께 확인해야 한다.