위키득계정 ↗
기술

VIP 시각 보상 학습

VIP 시각 보상 학습기술
이름
Value-Implicit Pre-training
사전 학습
행동 주석 없는 사람 동영상
목표 지정
목표 이미지
후속 활용
고정된 표현의 시각 보상
VIP는 행동 주석이 없는 사람 동영상에서 시각 표현과 목표 이미지 기반 보상을 학습하는 방법이다. 가치 함수 관점의 자기지도 사전 학습으로 임베딩 거리가 시간에 따라 부드러운 보상 단서가 되도록 한다.

목표에 가까워지는 정도

영상의 두 장면이 닮았다는 것과 작업 목표에 가까워졌다는 것은 다르다. VIP는 사람 동영상을 오프라인 목표 조건부 강화 학습 문제로 해석해 시각 보상을 학습한다.

행동 없이 학습하는 목적

사전 학습의 가치 함수 목적이 행동 값에 의존하지 않도록 구성한다. 따라서 사람 동영상의 행동 명령이 없어도 학습할 수 있지만 후속 로봇 제어에 행동이 필요 없다는 뜻은 아니다.

거리와 보상의 연결

시간적으로 매끄러운 임베딩에서 목표까지의 거리를 가치 함수와 보상 구성에 활용한다. 목표 이미지로 지정한 후속 작업에서 조밀한 보상을 제공하려는 접근이다.

표현과 제어의 구별

고정한 VIP 표현이 보상을 제공해도 실제 행동은 별도 제어 방법이 선택한다. 보상의 매끄러움과 로봇 과제의 성공률, 처음 보는 환경의 일반화를 구분해 평가해야 한다.

관련 문서

R3M / Ego4D / EgoBridge / EgoVerse / 강화 학습 / 대조 학습