질문에서 열지도로
사전 학습한 시각 질의응답 모델에 시선 따라가기 질문을 주고 Grad-CAM 열지도를 계산한다. 답변 문자열을 좌표 정답으로 그대로 바꾸는 방식과는 다르다.
잡음이 있는 주석
초기 열지도는 잡음이 많아 그대로 학습에 쓰기 어려울 수 있다. 제한된 사람 주석으로 학습한 확산 모델의 역샘플링 과정을 조정해 이 열지도를 보정한다.
두 종류의 사전 정보
시각 질의응답 모델이 제공하는 유용한 단서와 사람 주석의 분포 사이를 조절한다. 자동 생성한 주석을 사람이 직접 확인한 정답과 동일하게 취급하지 않는 것이 중요하다.
주석 절감의 조건
관련 연구는 GazeFollow와 VideoAttentionTarget에서 의사 주석의 활용을 평가한다. 주석을 얼마나 줄일 수 있는지는 기반 모델과 자료 분할 및 평가 기준에 따라 달라지므로 모든 환경에 같은 비율을 적용할 수 없다.
관련 문서
GazeFollow / VideoAttentionTarget / 의사 라벨 / 확산 모델 / 반지도 학습 / 컴퓨터 비전