위키득계정 ↗
기술

VLN-CE

VLN-CE기술
발표
2020년
과제
연속 환경의 시각 언어 이동
행동
저수준 이동 실행
비교 대상
파노라마 이동 그래프 설정
VLN-CE는 연속적인 삼차원 환경에서 저수준 행동을 실행하며 자연어 이동 지시를 따르는 평가 설정이다. 미리 주어진 파노라마 이동 그래프에 기대는 가정을 줄이는 데 초점을 맞춘다.

노드 이동과 실제 실행

희소한 파노라마 그래프에서는 이웃 지점으로 갈 수 있다는 정보가 간선에 담긴다. 연속 환경에서는 에이전트가 그 사이의 움직임도 실행해야 하므로 과제 조건이 달라진다.

줄어드는 사전 가정

원 연구는 알려진 환경 연결 구조와 가까운 구간의 정답 이동 및 완벽한 위치 추정이라는 가정을 제거했다. 언어 이해에 더해 이동 실행의 어려움을 평가에 포함한다.

단일 감각과 결합 모델

연구는 기존 설정의 방법을 반영한 모델과 단일 모달 비교 방법을 함께 개발했다. 관측과 언어의 기여를 살피면서 새로운 평가의 난도를 비교했다.

성능 격차의 해석

일부 기법은 옮겨졌지만 연속 설정의 절대 성능은 낮아졌다. 이는 이전 그래프 설정의 강한 가정이 평가를 쉽게 만들 수 있다는 근거이며, 모든 방법의 동일한 하락률을 뜻하지는 않는다.

관련 문서

Room-to-Room / Room-Across-Room / Habitat / SPL 이동 평가 지표 / 로봇 내비게이션 / Speaker-Follower 이동 모델