위키득계정 ↗
기술

DBCNN

DBCNN기술
관련 논문
Blind Image Quality Assessment Using A Deep Bilinear Convolutional Neural Network
대상
합성 및 실제 왜곡 품질
특징 경로
두 합성곱 신경망
융합
쌍선형 풀링
DBCNN은 합성 왜곡과 실제 왜곡에 대응하는 두 합성곱망의 특징을 쌍선형 풀링으로 결합하는 이미지 품질 모형이다. 서로 다른 사전 학습에서 얻은 특징으로 참조 없는 품질을 예측한다.

두 종류의 왜곡 자료

합성 왜곡은 종류와 강도를 쉽게 정할 수 있지만 실제 사진은 복합적인 열화를 가질 수 있다. DBCNN은 두 조건에 특화된 특징 경로를 둔다. 한 종류의 자료에서 좋은 특징이 모든 실제 열화를 똑같이 설명한다고 가정하지 않는다.

사전 학습과 융합

한 경로는 합성 왜곡의 종류 및 수준을 분류하도록 사전 학습한다. 다른 경로는 이미지 분류 사전 학습망을 이용한다. 두 특징을 쌍선형 풀링으로 통합하고 사람 품질 점수가 있는 목표 자료에서 전체 모형을 미세 조정한다.

쌍선형 상호작용의 예

설명용 벡터 (1, 2)와 (3, 4)의 바깥곱은 (3, 4)와 (6, 8)을 행으로 갖는다. 성분별 조합을 표현하는 방식으로 단순한 이어 붙이기와 다르다. 이는 개념 예제이며 실제 모델의 특징 차원이나 전체 풀링식은 아니다.

일반화의 확인

합성 및 실제 왜곡 자료와 다른 자료에서의 일반화 능력을 평가한다. 점수 예측이 좋더라도 원래 글자나 작은 구조가 정확한지는 별도로 보아야 한다. 사람 점수와의 관계 및 분포별 결과, 입력 설정과 모델 버전을 맞추어 비교한다.

관련 문서

NIMA / HyperIQA / MANIQA / MUSIQ / LIQE / BRISQUE