장면과 사람 함께 보기
주변 장면의 의미를 파악하는 것과 머리 자세나 눈 방향을 해석하는 것은 서로 보완적이다. PaGE는 이 두 특징의 복잡한 상호작용을 명시적으로 다루는 모델이다.
교사에서 학생으로
큰 ViT-H+ 기반 모델을 교사로 사용하고 더 가벼운 백본의 학생을 증류한다. 다양하고 큰 라벨 없는 자료를 이용해 학생이 교사의 표현을 배우도록 한다.
학습 단계
공식 구성은 백본을 고정한 디코더 학습 뒤 전체 모델의 지도 미세 조정을 수행한다. 학생 학습에는 교사와 학생 사이의 토큰 수준 특징 증류를 사용한다.
사람과의 비교 범위
연구는 정해진 시선 벤치마크의 여러 지표에서 사람의 주석 결과와 비교한다. 이런 비교를 인간의 의도나 주의를 모든 상황에서 이해한다는 뜻으로 확대할 수는 없다.
관련 문서
Gaze-LLE / VideoAttentionTarget / 지식 증류 / 트랜스포머 / 컴퓨터 비전 / 딥러닝