위키득계정 ↗
기술

GazeTR

GazeTR기술
과제
영상 기반 시선 추정
비교 구조
순수형과 혼합형 트랜스포머
혼합형 구성
합성곱과 자기 주의
학습 조건
사전 학습의 영향 평가
GazeTR은 시선 추정에 트랜스포머를 적용하는 연구다. 영상 패치를 직접 처리하는 방식과 합성곱 신경망에 트랜스포머를 결합하는 방식을 비교한다.

영상 특징의 관계

시선 추정은 눈 주변과 얼굴의 시각 정보를 바탕으로 방향을 예측한다. 트랜스포머의 자기 주의는 영상에서 얻은 특징 사이의 관계를 다루는 수단으로 사용된다.

두 구조의 비교

순수형은 ViT 방식에 따라 영상으로부터 시선을 추정한다. 혼합형은 합성곱 계층을 유지하면서 트랜스포머가 그 특징 처리를 보완하도록 구성한다.

결과를 읽는 조건

연구에서 혼합형은 비교한 순수형보다 적은 매개변수로 더 나은 평가 결과를 보였다. 이 결과를 모든 트랜스포머나 모든 촬영 환경에 그대로 적용할 수는 없으며 사전 학습 조건도 함께 봐야 한다.

구조 선택과 실제 사용

매개변수가 적다는 이유만으로 기기에서 더 빠르다고 단정할 수는 없다. 배포를 고려한다면 입력 해상도와 실행 환경을 고정하고 지연 시간과 시선 오차를 따로 측정해야 한다.

관련 문서

MPIIGaze / Gaze360 / ETH-XGaze / 트랜스포머 / 합성곱 신경망 / 컴퓨터 비전