장면에 담긴 정보
각 장면에는 조밀한 메시와 고해상도 HDR 텍스처가 포함된다. 기본 요소별 의미 범주와 개체 정보 및 평면 거울과 유리 반사체도 제공한다.
생성 가능한 관측
복원 장면에서 관측을 생성하면 기하와 의미를 연결하는 여러 실험을 구성할 수 있다. 연구는 일인칭 시각과 이차원 및 삼차원 분할, 기하 추론 등을 활용 방향으로 제시했다.
가상 에이전트의 환경
Habitat에서 장면을 사용해 이동과 지시 따르기 및 질의 응답을 수행하는 에이전트를 학습하고 시험할 수 있다. 자료와 함께 최소한의 C++ 개발 도구도 공개했다.
사실성과 실제 전이
사실적인 렌더링은 실제 영상으로의 전이를 연구할 기반이다. 원 논문은 이런 가능성을 제시했으며, 장면이 사실적이라는 이유만으로 모든 학습 정책의 실제 전이가 검증된 것은 아니다.
관련 문서
Matterport3D / ScanNet / Habitat / 삼차원 복원 / 의미 분할 / OpenMask3D