서로 다른 시각 지식
물체, 장소와 공간 배치 등 서로 다른 내용을 학습한 특징은 현저성 예측에 보완적으로 쓰일 수 있다. EML-NET은 여러 강한 합성곱 모델의 특징을 결합하는 시스템이다.
인코더의 확장
인코더에 구조가 다르거나 서로 다른 데이터셋으로 사전 학습한 모델을 포함할 수 있다. 여러 종류의 시각 정보를 하나의 특징 추출 단계에서 활용하려는 설계다.
나누어 학습하기
전체를 한 번에 학습하는 부담을 줄이기 위해 인코더와 디코더를 별도로 학습한다. 구성별 학습은 계산과 저장 공간의 제약을 다루는 방법이기도 하다.
확장과 자원의 관계
구조적으로 모델을 더할 수 있다는 말이 추론 비용까지 전혀 늘지 않는다는 뜻은 아니다. 추가 특징의 이득과 연산량 및 메모리 부담을 함께 평가해야 한다.
관련 문서
DeepGaze IIE / 다중 수준 특징 기반 현저성 예측 / SALICON / 전이 학습 / 합성곱 신경망 / 컴퓨터 비전