위키득계정 ↗
기술

ARGaze

ARGaze기술
입력
일인칭 영상
예측 대상
현재 시선 위치
시간 조건
현재와 과거만 사용
이력 구성
고정 길이 시선 문맥 창
ARGaze는 착용자 시점의 영상에서 현재 시선 위치를 순차적으로 예측하는 모델이다. 현재 영상 특징과 최근에 추정한 시선 이력을 함께 사용하며 미래 프레임을 보지 않는 온라인 설정을 다룬다.

눈이 보이지 않는 영상

얼굴을 정면에서 촬영하는 방식과 달리 착용자 시점의 영상에는 눈이나 머리 자세의 직접적인 신호가 없을 수 있다. 손과 물체의 상호작용이나 장면의 눈에 띄는 부분 같은 간접적인 단서가 중요해진다.

최근 시선의 활용

트랜스포머 디코더는 현재의 시각 특징과 최근 시선 추정 결과를 조건으로 다음 예측을 만든다. 목표가 있는 활동에서 시선이 시간적으로 이어지는 성질을 활용하는 구성이다.

고정 길이 문맥

과거 시선을 무한히 저장하는 대신 정해진 길이의 문맥 창을 사용한다. 이력의 길이를 제한하면 스트리밍 처리에서 과거 정보에 필요한 자원을 한정할 수 있다.

온라인 평가의 의미

현재 시선을 맞힐 때 이후 영상을 이용했다면 엄밀한 온라인 추정과 조건이 다르다. 모델을 비교할 때 미래 정보 접근 여부와 이력 초기화 조건을 함께 확인해야 한다.

관련 문서

GazeTR / Gaze360 / GazeCLR / 트랜스포머 / 컴퓨터 비전 / 증강 현실