도메인에 맞는 사전 자료
일반 영상 설명 자료와 적은 수의 이동 장면만으로는 실내 이동의 다양성을 충분히 다루기 어렵다. 연구진은 온라인 숙소 목록의 영상과 설명 쌍을 모아 BnB를 구성했다.
합성 경로와 지시
영상 설명 쌍에서 수백만 개 경로 및 지시 쌍을 만드는 자동 전략을 제시했다. 실제로 사람이 걸으며 촬영한 모든 연속 경로를 그대로 모은 자료와는 생성 방식이 다르다.
시간 순서의 학습
뒤섞기 손실은 경로와 지시 안의 시간 순서를 배우도록 돕는다. Airbert는 이 자료로 사전 학습한 뒤 판별형과 생성형 이동 설정에 적용된다.
적은 주택에서의 적응
논문은 R2R과 REVERIE 및 일부 주택의 지시만 쓰는 소수 예시 조건을 평가했다. 결과를 비교할 때에는 사전 학습 자료와 대상 주택의 지시량을 함께 보아야 한다.
관련 문서
PREVALENT / Speaker-Follower 이동 모델 / Room-to-Room / REVERIE / 자료 증강 / 재귀 VLN-BERT