경로의 확률적 성질
같은 사진에서도 관찰자마다 다른 주시 순서가 나올 수 있다. PathGAN은 이런 확률적 자료에서 사실적인 경로를 만들기 위해 적대 학습을 활용한다.
생성과 판별
생성기와 판별기는 기존 영상 네트워크로 특징을 추출한다. 각 부분의 순환 계층을 학습해 시선 경로를 생성하거나 판별하도록 구성한다.
평가 자료
연구는 iSUN과 Salient360 자료에서 주시 경로 예측을 평가했다. 일반 사진과 전방위 영상처럼 입력의 기하와 관찰 조건이 다르면 경로의 좌표 해석도 달라질 수 있다.
사실적인 경로와 정확한 예측
판별기가 그럴듯하다고 보는 경로가 특정 관찰자의 실제 경로와 일치한다는 보장은 없다. 생성 다양성, 공간적 적합성과 관측 경로와의 유사성을 나누어 확인해야 한다.
관련 문서
ST-DiffEye / DiffGaze / SALYPATH / 생성적 적대 신경망 / 순환 신경망 / 컴퓨터 비전