위키득계정 ↗
기술

Sharingan 시선 따라가기

Sharingan 시선 따라가기기술
과제
이차원 시선 따라가기
첫 변형
한 사람의 시선 열지도
둘째 변형
여러 사람의 점 회귀
평가 자료
GazeFollow와 VideoAttentionTarget
Sharingan은 사진 속 사람이 바라보는 이차원 위치를 예측하는 트랜스포머 구조다. 사람별 열지도를 출력하는 방식과 여러 사람의 시선 좌표를 한 번에 회귀하는 방식을 비교한다.

한 사람씩 예측하기

첫 번째 변형은 기존 과제 구성처럼 한 사람의 시선 열지도를 예측한다. 열지도는 가능한 위치별 값을 표현하므로 하나의 좌표만 출력하는 방식과 결과 해석이 다르다.

여러 사람 함께 예측하기

두 번째 변형은 시선 대상을 이차원 점의 회귀로 정의한다. 한 번의 순전파로 여러 사람의 시선 위치를 예측하도록 구성한다.

출력 형태의 선택

점 출력은 위치를 간결하게 나타내지만 여러 후보에 대한 분포를 그 자체로 제공하지 않는다. 열지도와 점 회귀를 비교할 때는 출력 표현의 차이도 고려해야 한다.

한 번의 순전파와 속도

여러 사람을 한 번에 처리한다는 사실만으로 사람이 늘어나도 비용이 일정하다고 단정할 수는 없다. 실제 속도는 영상 크기와 사람 수, 구현 및 장비 조건을 정해 측정해야 한다.

관련 문서

GazeFollow / VideoAttentionTarget / Gaze-LLE / 트랜스포머 / 회귀 분석 / 컴퓨터 비전