수행자와 안내자의 역할
수행자는 물리적인 조작 과제를 진행하고 안내자는 실시간 일인칭 영상을 보며 말로 돕는다. 두 사람이 협력하는 과정에서 행동과 대화가 연결된다.
행동과 대화의 주석
안내자가 실수를 바로잡거나 작업 중 개입하는 행동을 주석으로 다룬다. 환경 속 대상을 어떻게 언급하고 지시하는지도 분석할 수 있다.
세 가지 벤치마크
실수 검출과 개입 유형 예측, 앞으로의 손 움직임 예측을 제공한다. 수행 상태의 판단과 어떤 도움을 줄지의 선택, 움직임 예측은 다른 출력이다.
기록의 단위
350쌍은 안내자와 수행자의 조합 수다. 이를 참여한 개인의 수와 동일하게 읽어서는 안 되며, 기록 시간도 해당 논문판의 수집 범위를 나타낸다.
관련 문서
ENIGMA-51 / MECCANO 행동 데이터셋 / Assembly101 / HA-ViD / Ego4D / GIMO