위키득계정 ↗
기술

CLIP-Nav

CLIP-Nav기술
발표
CoRL LangRob 워크숍 2022
주요 기반
CLIP
목표 표현
자연어 지시 표현
평가
REVERIE의 거친 수준 지시 수행
CLIP-Nav는 사전 학습 CLIP을 이용해 대상 물체를 설명한 자연어를 순차 이동 결정에 연결하는 방법이다. 자료별 미세 조정 없이 시각 언어 이동의 일반화를 연구한다.

고정된 문장 틀을 넘어서

물체 범주를 정해진 틀로 말하는 것과 자연스러운 묘사로 목표를 지칭하는 것은 다르다. CLIP-Nav는 후자의 언어를 관측과 연결하는 추가 학습 없는 이동을 다룬다.

순차 결정에 쓰는 표현

연구는 CLIP이 물체를 알아보는 데서 나아가 이동할 때의 선택에도 도움이 되는지 살핀다. 같은 모델 표현이 에이전트의 경로에 주는 영향을 분석했다.

성공과 경로 효율

REVERIE의 지시 수행 설정에서 성공률과 SPL을 비교했다. 이 설정의 결과를 목표 물체를 직접 조작하거나 모든 세부 지시를 수행하는 능력과 동일하게 볼 수는 없다.

환경 사이의 변화

논문은 Relative Change in Success로 환경이 바뀔 때의 상대 변화를 평가했다. 절대 성공률과 환경 간 변화량은 다른 정보이므로 함께 확인해야 한다.

관련 문서

CLIP on Wheels와 Pasture / CLIP / ObjectNav / SPL 이동 평가 지표 / LGX 언어 유도 탐사 / 전이 학습