위키득계정 ↗
기술

UIGaze

UIGaze기술
연구 대상
시각 언어 모델의 UI 주의 예측
평가 자료
UEyes
예측 절차
제로샷 좌표 생성
지도 변환
가우스 흐림
UIGaze는 시각 언어 모델이 사용자 인터페이스에서 사람의 주의 위치를 얼마나 닮게 예측하는지 평가한 연구다. 모델이 생성한 좌표를 현저성 지도로 바꾸어 실제 시선 추적 자료와 비교한다.

영상 이해와 시선 예측

화면의 내용을 설명하는 능력이 어느 위치에 사람의 시선이 머무는지 예측하는 능력과 같지는 않다. UIGaze는 실제 시선 추적 자료를 이용해 이 차이를 평가한다.

좌표에서 지도로

모델이 주시 점 좌표를 생성하도록 하고 가우스 흐림으로 현저성 지도로 변환한다. 이를 상관계수, 유사도와 KL 발산 등으로 정답 지도와 비교한다.

화면 유형과 관찰 시간

연구에서는 인터페이스 종류에 따라 일치 정도가 달라지고 관찰 시간이 길 때 더 높은 일치가 나타났다. 첫 주시와 이후 탐색을 같은 현상으로 묶지 않고 살필 필요가 있다.

예측 파이프라인의 영향

좌표 개수와 가우스 폭 같은 변환 조건도 지도 평가에 영향을 줄 수 있다. 결과를 해석할 때 모델 이름뿐 아니라 좌표 생성과 지도 구성 절차를 함께 확인해야 한다.

관련 문서

UEyes / UniAR / EyeFormer / 현저성 예측 평가 / 멀티모달 학습 / 컴퓨터 비전