실제 공간의 가상화
직접 설계한 가상 세계만 사용하는 대신 실제 공간을 가상 환경으로 옮긴다. 현실의 복잡한 의미와 공간 구성을 학습에 반영하려는 방향이다.
관측과 행동의 연결
에이전트는 카메라처럼 변화하는 관측을 받으며 물리 및 공간 제약 아래에서 움직인다. 고정 영상의 인식과 달리 행동에 따라 다음에 볼 장면이 달라지는 문제를 연구한다.
합성 관측의 보완
Goggles는 가상 환경과 실제 관측 사이의 인식 차이를 줄이기 위해 제시한 내부 합성 체계다. 연구는 추가 도메인 적응 없이 실제로 옮기는 구성을 탐구했다.
전이의 검증
가상 공간이 실제 건물을 기반으로 해도 관측과 제어의 모든 차이가 사라지지는 않는다. 실제 적용 능력은 학습한 인식 과제와 시험 조건에서 확인해야 한다.
관련 문서
Habitat / Matterport3D / Replica 데이터셋 / 시뮬레이션 / 도메인 적응 / 로봇 내비게이션