화면 밖의 문맥
일인칭 카메라가 보는 것은 주변 공간의 일부다. EgoEnv는 짧은 영상만 독립적으로 해석하는 대신 착용자가 지속적으로 머무는 환경과 관측을 연결한다.
시뮬레이션에서 학습하기
전체 환경을 알 수 있는 삼차원 시뮬레이션의 에이전트 영상으로 주변 정보를 예측하도록 학습한다. 학습한 표현을 사람의 실제 촬영 영상에 적용한다.
영상 특징의 보강
환경 인지 특징을 기존 클립 특징과 결합해 사람 중심 영상 과제에 활용한다. 관련 연구는 HouseTours와 Ego4D 및 자연어 질의 평가에서 효과를 조사했다.
추론한 환경과 관측한 환경
모델이 화면 밖의 주변을 예측해도 실제 공간을 직접 측정한 것은 아니다. 새로운 환경에서의 전이와 후속 과제의 정확도를 구분해 확인해야 한다.
관련 문서
Ego4D / Ego-Exo4D / EgoDTM / EgoVLP / EgoPlan-Bench / 삼차원 재구성