제어 밖의 시각 표현
로봇에는 행동 제어뿐 아니라 파지 가능성 예측과 언어 조건부 모방, 협력 상대의 의도 평가도 필요할 수 있다. 한 과제에서 좋은 표현이 다른 과제에서도 우수한지는 별도로 확인해야 한다.
복원과 생성의 결합
언어를 조건으로 시각 내용을 복원해 낮은 수준의 시각 패턴을 학습한다. 반대 방향으로 영상에 근거해 언어를 생성하면서 높은 수준의 의미를 표현하도록 한다.
여러 과제의 평가
관련 연구는 다섯 가지 로봇 학습 문제를 아우르는 평가 묶음을 구성했다. 기존 표현과 통제된 비교를 통해 공간·의미 정보를 요구하는 과제별 효과를 조사했다.
표현의 균형 읽기
공간적으로 세밀한 정보와 행동의 의미는 서로 다른 요구다. 전체 평균만 보기보다 어떤 과제에서 표현이 도움이 되는지, 후속 학습 조건이 같은지를 확인해야 한다.
관련 문서
R3M / LIV 로봇 시각 보상 / VIP 시각 보상 학습 / MVP 운동 제어 사전 학습 / EgoBridge / 모방 학습