위키득계정 ↗
기술

TReS

TReS기술
대상
무참조 이미지 품질 평가
지역 표현
합성곱 신경망
관계 표현
트랜스포머
학습 요소
상대 순위와 자기 일관성
TReS는 합성곱망의 지역 특징과 트랜스포머의 넓은 관계 표현을 결합하는 무참조 이미지 품질 평가 모형이다. 점수 학습에 상대 순위와 입력 변환에 대한 자기 일관성을 함께 이용한다.

부분과 전체의 관계

작은 영역의 흐림과 사진 전체의 구조는 서로 다른 단서다. TReS는 합성곱망으로 얻은 지역 표현에 트랜스포머의 비국소 관계 표현을 결합한다. 깨끗한 원본과 픽셀을 비교하는 방식이 아니라 입력 이미지에서 품질을 추정한다.

상대 순위를 배우는 이유

학습 배치 안에서 이미지 사이의 품질 순서를 고려한다. 점수 하나를 맞히는 문제와 두 이미지 중 어느 쪽의 평가가 높은지 맞히는 문제는 연결되어 있지만 동일하지 않다. 상대 순위는 배치에서 얻을 수 있는 관계를 학습에 활용한다.

자기 일관성

이미지를 좌우로 뒤집은 입력과 원래 입력 사이의 일관성을 학습에 이용한다. 내용의 배치가 바뀌어도 품질 판단이 불필요하게 달라지지 않도록 하는 방향이다. 모든 종류의 변환에서 품질이 보존된다고 일반화할 수는 없다.

순서와 간격의 차이

설명용 정답 점수가 2와 8인 두 이미지에 대해 3과 4를 예측하면 순서는 맞지만 간격은 다르다. 순위가 맞았다는 사실만으로 수치 예측까지 정확하다고 볼 수 없다. 이 예는 실제 실험 점수가 아니며 순위와 점수 평가를 함께 살펴야 하는 이유를 보여준다.

관련 문서

TOPIQ / MUSIQ / MANIQA / HyperIQA / DBCNN / BRISQUE