연속적인 눈 움직임
주시 지점만 차례대로 나열하거나 여러 사람의 시선을 하나의 현저성 지도로 합치면 세밀한 움직임이 사라질 수 있다. DiffGaze는 이런 중간 움직임을 포함한 연속 시퀀스를 다룬다.
영상에 조건화한 생성
360도 영상에서 추출한 특징을 생성 조건으로 사용한다. 두 트랜스포머로 연속 시선의 시간적 의존성과 공간적 의존성을 모델링한다.
서로 다른 평가 표현
관련 평가는 연속 시퀀스 생성뿐 아니라 주시 순서와 현저성 예측도 포함한다. 같은 생성 결과라도 어느 표현으로 바꾸어 평가하는지에 따라 측정하는 특성이 달라진다.
다양성과 재현의 차이
그럴듯한 시선을 생성하는 것은 특정 사용자가 실제로 어디를 보았는지 복원하는 일과 다르다. 가상 인물의 시선이나 합성 자료에 활용할 때도 관측값과 생성값을 구분해야 한다.
관련 문서
ST-DiffEye / GazeD / 확산 모델 / 트랜스포머 / 컴퓨터 비전 / 가상 현실