넓은 문맥의 필요
주변의 작은 무늬뿐 아니라 장면 전체의 관계가 어느 위치를 볼지에 영향을 줄 수 있다. TranSalNet은 합성곱 기반 모델의 장거리 문맥 처리를 보완하는 방향을 제시한다.
트랜스포머 결합
합성곱 신경망에 트랜스포머 구성 요소를 넣어 멀리 떨어진 영역의 정보를 연결한다. 자기 주의의 문맥 인코딩 능력을 현저성 예측에 활용하는 접근이다.
성능과 지각의 관계
연구는 공개 현저성 벤치마크에서 결합 구조를 평가한다. 예측 성능을 개선하려는 목적과 사람의 대뇌 시각 주의 메커니즘을 정확하게 재현했다는 주장은 서로 다르다.
기여를 분리해 평가하기
트랜스포머를 더한 효과를 확인할 때는 특징 추출기와 학습 자료, 출력 해상도 같은 조건을 맞춰야 한다. 모델 이름이나 구조 종류만으로 모든 장면에서의 우열을 정할 수 없다.
관련 문서
DeepGaze IIE / Saliency Attentive Model / SALICON / 트랜스포머 / 합성곱 신경망 / 컴퓨터 비전