위키득계정 ↗
기술

CapStARE

CapStARE기술
특징 추출
고정한 ConvNeXt
공간 표현
캡슐과 주의 기반 라우팅
순차 처리
두 GRU 디코더
관찰 범위
짧은 구간의 문맥
CapStARE는 얼굴 특징의 부분과 전체 관계를 캡슐 구조로 처리하고 짧은 관찰 구간의 순차 정보를 결합하는 시선 추정 모델이다. 고정한 ConvNeXt 특징 추출기와 두 GRU 디코더를 사용한다.

부분과 전체 관계

얼굴의 세부 특징을 서로 독립적인 값으로만 취급하기보다 부분과 전체의 구조를 표현하려는 접근이다. 캡슐 형성과 주의 기반 라우팅으로 얼굴 특징 사이의 관계를 처리한다.

고정한 특징 추출기

ConvNeXt 백본은 고정한 상태로 특징을 추출한다. 백본을 고정하는 것은 모든 계층을 함께 갱신하는 학습과 다르므로 비교할 때 학습 대상과 사전 학습 조건을 확인해야 한다.

짧은 관찰 구간

두 GRU 디코더가 짧은 관찰 구간을 순차적으로 처리한다. 가까운 관측 사이의 문맥 일관성을 이용해 예측을 안정화하려는 구성이다.

속도와 안정성 평가

연구는 여러 시선 데이터셋에서 모델을 평가한다. 특정 장비에서의 처리 속도를 모든 기기의 속도로 일반화할 수 없으며 순간적인 각도 오차와 시간에 따른 예측 흔들림도 구분해야 한다.

관련 문서

GazeTR / ARGaze / Gaze360 / ETH-XGaze / 순환 신경망 / 컴퓨터 비전