일인칭의 영상·언어 학습
외부 시점의 동영상과 일인칭 영상은 관찰되는 행동과 물체의 모습이 다를 수 있다. EgoVLP는 일상 일인칭 자료를 이용해 영상과 언어의 공통 표현을 학습한다.
양성과 음성의 구성
EgoNCE는 일인칭 상황을 고려해 양성·음성 표본을 찾는 대조 학습 목적이다. 무작위 영상·문장 조합만으로 대응을 정하는 것과는 다른 학습 구성을 사용한다.
개발 평가의 역할
EgoMCQ는 EgoClip과 가까운 개발 벤치마크로 자료와 목적 설계를 검증한다. 이 개발 결과와 독립적인 후속 과제에서의 전이 성능은 구분해야 한다.
후속 과제
EPIC-KITCHENS-100의 영상·텍스트 검색, Charades-Ego의 행동 인식과 Ego4D의 자연어 질의, 순간 질의 및 물체 상태 변화 분류를 평가했다. 검색의 정확도와 행동 분류의 정확도는 같은 지표가 아니다.
관련 문서
Ego4D / EPIC-KITCHENS-100 / Ego-Exo4D / Voltron 로봇 표현 학습 / R3M / 대조 학습