위키득계정 ↗
기술

ESC 물체 탐색

ESC 물체 탐색기술
발표
2023년
이름
Exploration with Soft Commonsense Constraints
기반
시각 언어 모델과 상식 언어 모델
평가
MP3D, HM3D, RoboTHOR
ESC는 사전 학습 모델의 상식 지식을 부드러운 논리 제약으로 표현해 물체를 탐색하는 방법이다. 방과 물체의 관계를 추론하고 시각 관측에 연결해 다음 이동을 정한다.

보이지 않는 목표 찾기

목표가 현재 영상에 없을 때에는 어디를 탐사할지 결정해야 한다. ESC는 물체를 인식하는 기능에 더해 방과 물체의 관계에 관한 사전 학습 지식을 사용한다.

관측과 상식의 역할

시각 언어 모델은 프롬프트로 지칭한 대상을 관측과 연결한다. 상식 언어 모델은 방과 물체에 관한 추론을 맡아 탐색 방향에 필요한 정보를 제공한다.

부드러운 논리 제약

상식은 모든 상황에서 반드시 맞는 규칙은 아니다. ESC는 이를 소프트 논리 술어로 모델링해 탐사 행동에 연결하는 방식을 제안했다.

학습 없는 이동의 범위

논문은 해당 시각 환경의 이동 경험이나 추가 훈련 없이 사전 학습 지식을 옮기는 설정을 평가했다. 이 결과는 이미 학습한 기반 모델을 전혀 사용하지 않는다는 뜻은 아니다.

관련 문서

VLFM / ObjectNav / PONI / 시각 언어 모델 / 술어 논리 / 로봇 내비게이션