위키득계정 ↗
기술

연속 이동의 경유점 예측

연속 이동의 경유점 예측기술
발표
2022년
연구 대상
이산 환경과 연속 환경의 격차
학습 기반
보정한 Matterport3D 연결 그래프
평가
R2R-CE와 RxR-CE
연속 이동의 경유점 예측은 고수준 방향 선택을 하는 시각 언어 에이전트를 연속 환경에 연결하는 방법이다. 매 단계 접근 가능한 후보 경유점을 만들고 기존 이동 정책이 그중에서 선택하도록 한다.

미리 주어진 연결의 차이

이산 이동에서는 환경의 연결 그래프가 있어 노드 사이의 고수준 선택으로 움직일 수 있다. 연속 환경에서는 그런 연결을 그대로 가정하기 어려워 기존 에이전트의 행동 표현을 바꿔야 한다.

후보 위치의 생성

연구는 Matterport3D 연결 그래프를 연속 환경에 맞게 보정하고 이를 경유점 예측기 학습에 사용했다. 예측기는 실행 중 매 시점에 접근 가능한 후보를 만든다.

다양한 시점과 경로

학습 때 예측 경유점을 증강해 보는 방향과 이동 경로를 다양하게 하는 방식도 제시했다. 이는 고정된 후보를 반복하는 것보다 일반화를 높이려는 구성이다.

모방 학습의 비교

논문은 단순 모방 학습 목표를 사용한 에이전트를 연속 이동 벤치마크에서 평가했다. 경유점 기반 결과와 저수준 행동을 직접 출력하는 결과는 행동 후보 정보의 차이를 함께 고려해야 한다.

관련 문서

VLN-CE / 재귀 VLN-BERT / Room-to-Room / Room-Across-Room / 모방 학습 / 경로 계획