먼 거리의 어려움
카메라와 사람이 멀어지면 영상에서 눈이 차지하는 픽셀 수가 줄어든다. RT-GENE는 이런 해상도 변화와 다양한 머리 자세가 있는 환경에서 시선 추정을 연구한다.
정답을 수집하는 장비
머리 자세는 모션 캡처로, 눈의 시선은 이동 가능한 시선 추적 안경으로 측정한다. 두 측정을 결합해 자연스러운 움직임이 포함된 학습 자료의 정답을 마련한다.
안경 흔적 줄이기
정답 수집에 사용한 안경이 영상에 남으면 안경 없이 사용하는 상황과 외형 차이가 생긴다. 이를 줄이기 위해 안경이 가리는 영역에 의미 기반 인페인팅을 적용한다.
복원 영상의 해석
인페인팅은 가려진 실제 눈을 직접 관측한 것과 같지 않다. 복원된 외형에 학습이 의존하는지와 다른 데이터셋에서도 추정이 유지되는지를 함께 살펴야 한다.