행동을 나누어 표현하기
부품을 조작하는 행동은 무엇을 움직였는지와 어디에 작용했는지가 다를 수 있다. HA-ViD의 세분화한 주석은 수행자와 물체 및 도구의 역할을 구분한다.
조립 과정의 관측
각 영상에 하나의 조립 작업을 담으며 다양한 협업 양상과 자연스러운 행동, 학습의 진행을 기록한다. 완성된 결과만이 아니라 작업이 이루어지는 과정을 분석하는 자료다.
기본 인식 과제
동작 인식과 시간적 동작 분할, 물체 검출과 다중 물체 추적을 벤치마크로 제공한다. 영상의 시간 구간을 맞히는 것과 물체의 공간 위치를 맞히는 것은 별개의 출력이다.
조립 지식과의 연결
관련 연구는 인식 결과를 조립 진행, 효율과 협업 등의 이해에 어떻게 연결할지 분석했다. 물체를 올바르게 검출하는 성능과 전체 절차를 올바르게 해석하는 성능은 따로 확인해야 한다.
관련 문서
Assembly101 / AssemblyHands / HOI4D / Ego-Exo4D / EPIC-KITCHENS-100 / 컴퓨터 비전