공통 표현과 후속 작업
같은 동영상 표현을 사용해도 행동을 분류하거나 문장에 맞는 구간을 찾는 출력은 다르다. EgoVideo는 공통 일인칭 모델을 여러 과제에 적응하는 접근을 제시한다.
질의와 구간 연결
자연어 질의, 단계 근거 찾기와 순간 질의 같은 Ego4D 과제를 다룬다. 문장의 의미와 영상 속 시간 구간을 연결하는 평가다.
현재와 미래의 행동
짧은 미래의 물체 상호작용과 긴 시간 범위의 행동 예측에도 적용한다. EPIC-KITCHENS에서는 행동 인식과 다중 인스턴스 검색 및 행동 인식의 도메인 적응을 다룬다.
대회 결과의 범위
이 연구는 2024년 EgoVis 도전 과제의 해법을 정리한 보고서다. 과제별 적응과 평가 조건이 다르므로 공통 모델의 성능과 개별 제출 구성의 성능을 구분해야 한다.
관련 문서
EgoVLP / EgoVLPv2 / LaViLa / Ego4D / EPIC-KITCHENS-100 / HOI4D