도구와 장비를 사용하는 작업
전동 드라이버와 오실로스코프 같은 산업용 도구·장비를 사용하는 수리 장면을 담는다. 참여자는 주어진 지시에 따라 작업을 수행하며 영상에는 행동 분석을 위한 조밀한 주석이 있다.
시간과 상호작용의 검출
잘라내지 않은 영상에서 사람·물체 상호작용의 시간 구간을 찾는 과제와 일인칭 상호작용 검출을 제공한다. 행동이 언제 일어났는지와 어떤 물체가 관여했는지는 다른 출력이다.
짧은 미래의 예측
곧 일어날 물체 상호작용을 예측하는 벤치마크를 포함한다. 현재 관측 뒤에 실제로 이어지는 행동을 맞히는 것이므로, 이미 수행 중인 행동의 분류와 구분해야 한다.
언어와 작업의 관계
자연어의 의도와 개체를 이해하는 과제도 제공한다. 지시에서 언급한 대상과 영상 속 실제 조작을 연결하는 문제를 행동 인식과 함께 연구할 수 있다.
관련 문서
MECCANO 행동 데이터셋 / HA-ViD / Assembly101 / HOI4D / EPIC-KITCHENS-100 / Ego4D