행동 조건부 시각 상상
제한된 일인칭 영상만으로는 보이지 않는 배치나 다른 관점을 추론하기 어렵다. Astra는 정책이 시뮬레이터와 상호작용하며 새로운 관점의 시각 정보를 얻는 방식으로 이 문제를 다룬다.
세계 시뮬레이터의 구성
Astra-WM은 Bagel 기반 모델로 문맥 영상과 자연어 카메라 움직임에서 새 시점 영상을 생성한다. 시점 일관성 조정으로 관측 사이의 자세와 내용이 서로 맞도록 학습한다.
도구 사용을 배우는 정책
Astra-VL은 강화 학습으로 훈련한 영상 언어 정책이다. 시뮬레이터를 학습 과정에 포함한 두 단계 교육과정으로 도구 사용을 탐색하고, 직접 답하는 것보다 도움이 될 때 호출하는 행동을 학습한다.
정책과 시뮬레이터의 평가
MMSI-Bench와 MindCube에서 구성 요소의 효과를 비교했다. 생성 관측이 유용하려면 시뮬레이터의 일관성과 정책의 호출 판단이 함께 중요하며, 상상한 장면이 실제 관측을 대체한다는 보장은 아니다.
관련 문서
AVIC 선택적 시각 상상 / 세계 모델 / 강화 학습 / 공간 추론 / VSR 공간 관계 평가 / Bagel