범용 표현의 비교
몸의 이동, 환경 탐색과 물체 조작은 필요한 정보가 다를 수 있다. 이 연구는 여러 과제를 한 평가 틀에 모아 특정 시각 표현이 보편적으로 우세한지 조사했다.
자료 규모와 다양성
일인칭 영상에서 얻은 이미지와 ImageNet을 조합하고 모델 크기 및 학습 자료 부분집합을 비교했다. 자료를 늘리면 평균 성능이 좋아져도 모든 과제가 함께 개선되는 것은 아니었다.
평균과 개별 과제
큰 모델인 VC-1은 평균에서 강한 결과를 보였지만 모든 과제를 지배하지는 않았다. 과제나 도메인에 맞춘 적응이 추가 개선을 주는지도 평가했다.
평가 조건의 일치
고정된 사전 학습 표현과 과제별로 적응한 표현은 조건이 다르다. 평균 순위와 개별 과제 성능, 실제 하드웨어 결과를 구분해야 전이의 범위를 판단할 수 있다.
관련 문서
R3M / MVP 운동 제어 사전 학습 / Voltron 로봇 표현 학습 / VIP 시각 보상 학습 / LIV 로봇 시각 보상 / Ego4D