인식과 계획의 차이
영상에서 물체를 알아보는 것만으로는 목표를 위한 행동 순서를 결정할 수 없다. EgoPlan-Bench는 시각 관측을 바탕으로 과제를 어떻게 진행할지 판단하는 능력을 다룬다.
다양한 행동 계획
현실적인 과제와 복잡한 관측, 다양한 행동 계획을 평가에 사용한다. 하나의 장면 분류 정확도를 전체 계획 능력의 척도로 바꾸어 읽어서는 안 된다.
EgoPlan-IT의 역할
계획 능력을 개선하기 위한 전용 지시 미세 조정 자료를 함께 제공한다. 미세 조정 전후의 성능은 학습 조건이 다르므로 따로 비교해야 한다.
평가 범위의 해석
벤치마크가 측정하는 계획 응답과 실제 환경에서 행동을 실행해 목표를 달성하는 것은 구분된다. 사람 수준의 전반적 능력을 하나의 점수로 확정하기보다 관측 조건과 과제 범위를 확인해야 한다.
관련 문서
Ego4D / EPIC-KITCHENS-100 / EgoVideo / HoloAssist / EgoVoice / EgoDTM