작업자가 보는 장면
외부 카메라와 달리 일인칭 영상은 작업자의 손과 주변 물체를 가까이 담는다. MECCANO는 산업과 유사한 조건에서 이런 시점의 행동 이해를 연구한다.
동시 기록의 의미
컬러 영상, 깊이 지도와 시선 신호를 동기화해 수집한다. 서로 다른 모달이 제공하는 단서를 비교할 수 있지만 모든 방법이 같은 입력을 사용하는 것은 아니다.
사용 중인 물체의 인식
동작 인식과 함께 실제 상호작용 중인 물체를 검출하고 인식하는 과제를 포함한다. 화면에 존재하는 모든 물체와 행동에 관여하는 물체는 구분된다.
앞으로의 상호작용 예측
일인칭 사람·물체 상호작용 검출, 행동 예측과 다음 활성 물체 검출을 평가한다. 현재 관여한 물체를 찾는 것과 이후 사용할 물체를 예측하는 것은 시간 조건이 다른 문제다.
관련 문서
HA-ViD / Assembly101 / HOI4D / EPIC-KITCHENS-100 / Ego4D / GIMO