위키득계정 ↗
기술

PREVALENT

PREVALENT기술
발표
CVPR 2020
사전 학습 자료
영상, 텍스트, 행동 삼중항
학습 방식
자기 지도 사전 학습과 미세 조정
평가
R2R, 시각 대화 이동, Help Anna
PREVALENT는 영상과 텍스트 및 행동의 조합으로 이동용 표현을 사전 학습하는 에이전트다. 새 과제의 자료가 적을 때 준비된 시각 언어 표현을 기존 이동 체계에 연결해 적응을 돕는다.

자료가 적은 새 과제

다양한 시각 관측과 자연어 지시를 처음부터 적은 자료로 연결하기는 어렵다. PREVALENT는 다른 경험에서 학습한 일반적인 표현을 새 이동 과제의 출발점으로 사용한다.

세 요소의 공동 표현

영상과 텍스트 및 행동을 결합한 자료에서 자기 지도 학습을 수행한다. 시각 환경과 언어 지시의 표현을 준비한 뒤 기존 이동 프레임워크에 적용한다.

여러 과제로의 전이

연구는 Room-to-Room뿐 아니라 대화로 이동하는 과제와 도움을 받는 과제에서 전이를 평가했다. 동일 벤치마크의 학습량 증가와 다른 과제로의 전이는 구별할 필요가 있다.

보고 지표의 해석

원 논문의 R2R 비교는 SPL 개선을 제시했다. 이는 단순 성공률이나 실제 로봇의 이동 속도와 같은 지표가 아니며, 사전 학습 자료의 차이도 함께 확인해야 한다.

관련 문서

Room-to-Room / CVDN / SPL 이동 평가 지표 / 자기 지도 학습 / 전이 학습 / 재귀 VLN-BERT