영상 종류를 함께 학습하기
정지 영상과 동영상의 현저성 모델을 따로 만드는 대신 공동 학습을 시도한다. 시간 정보의 유무뿐 아니라 데이터셋마다 다른 수집 조건과 주시 분포가 걸림돌이 될 수 있다.
영역 차이의 처리
영역 적응형 사전 정보, 융합과 평활화, Bypass-RNN을 제안한다. 학습 가능한 가우스 사전 정보의 구성도 개선해 여러 종류의 자료에 대응한다.
가벼운 순차 구조
인코더, 순환 신경망과 디코더를 결합한 비교적 단순한 구조에 이 기법들을 통합한다. 정지 영상과 동영상 자료를 함께 학습하되 시간 처리의 차이를 고려한다.
통합의 기여 확인
공동 학습의 결과를 이해하려면 자료를 더 쓴 효과와 영역 적응 모듈의 효과를 나누어야 한다. 관련 연구는 여러 영상 데이터셋과 정지 영상 벤치마크의 비교 및 절제 실험을 수행한다.
관련 문서
SALICON / DeepGaze IIE / DeepGaze III / 영역 적응 / 순환 신경망 / 컴퓨터 비전