위키득계정 ↗
기술

TempSAL

TempSAL기술
입력
정지 영상
시간 의미
관찰 경과 시간
중간 출력
연속 시간 구간의 현저성 지도
최종 활용
시간 지도 결합의 국소 조절
TempSAL은 정지 영상을 관찰하는 동안 시간 구간별로 달라지는 현저성 지도를 예측하는 모델이다. 구간별 주의 지도를 학습하고 이를 결합해 전체 현저성 예측을 조절한다.

정지 영상에도 시간은 있다

입력 사진이 움직이지 않아도 처음 볼 때와 잠시 관찰한 뒤의 주의 위치는 다를 수 있다. TempSAL은 이런 관찰 시간에 따른 시선 이동을 현저성 예측에 활용한다.

구간별 지도 학습

연속된 시간 구간마다 현저성 지도를 출력하도록 학습한다. 여러 프레임의 영상 변화를 모델링하는 동영상 현저성과는 시간의 의미가 다르다.

시간 지도의 결합

학습한 시간 지도들을 결합해 현저성 예측을 위치별로 조절한다. 시간별 표현을 만드는 목적은 각 구간의 주의를 추정하는 것과 전체 영상 현저성을 보완하는 데 있다.

분포와 개인의 경로

시간 구간별 분포가 주어져도 특정 관찰자의 정확한 주시 순서가 결정되는 것은 아니다. 구간별 현저성 지도와 개인의 연속 시선 궤적은 서로 다른 표현으로 구분해야 한다.

관련 문서

SALICON / DeepGaze III / ST-DiffEye / UNISAL / 확률 분포 / 컴퓨터 비전