손별 상호작용
사람 전체의 행동 이름만 붙이는 것과 달리 손마다 무엇을 하는지 주석으로 제공한다. 어린이와 성인이 통제되지 않은 환경에서 자연스럽게 상호작용하는 영상을 다룬다.
물체를 다루는 단계
쥐기, 잡고 있기나 조작하기, 여러 방식의 놓기처럼 손과 물체의 상호작용 단계를 포함한다. 단순히 손에 물체가 있는지와 어떤 조작 단계인지 구분해 평가한다.
시선과 손의 관계
ChildPlay의 시선 라벨을 포함해 손 조작과 시선을 공동으로 모델링할 수 있게 한다. 바라보는 대상과 손으로 다루는 대상이 일치하는지 같은 관계를 연구하는 기반이다.
입력 정보의 비교
관련 평가는 몸 전체와 손 영역의 정보, 자세와 RGB 영상의 차이를 살핀다. 손이 작게 보이거나 가려지는 장면에서는 관측 가능한 정보 자체가 달라지므로 입력 조건을 맞춰 비교해야 한다.
관련 문서
ChildPlay / VSGaze / VideoAttentionTarget / 객체 탐지 / 컴퓨터 비전 / 데이터셋