시각과 언어에서 행동으로
OpenVLA는 Llama 2 언어 모델에 사전 학습한 DINOv2와 SigLIP 특징을 융합하는 시각 인코더를 결합한다. 관측과 지시를 해석하는 표현을 실제 조작 학습으로 이어 간다.
새 과제의 미세 조정
여러 물체가 등장하는 다중 과제 환경 등에서 새로운 설정으로의 적응을 평가했다. 사전 학습 모델을 활용하는 비교와 처음부터 모방 학습하는 비교는 출발 자료가 다르다는 점을 함께 봐야 한다.
계산 자원의 활용
연구는 저랭크 적응으로 소비자용 GPU에서 미세 조정하고 양자화로 추론을 효율화하는 방법을 다뤘다. 특정 실험에서 성공률을 유지한 결과가 모든 정밀도 설정의 품질 보장은 아니다.
공개 범위와 비교
모델 체크포인트와 미세 조정 노트북 및 학습 코드를 공개했다. 논문에 보고한 다른 모델과의 성공률 차이는 사용한 과제와 로봇 구성의 비교이며, 보편적인 성능 순위로 고정할 수 없다.
관련 문서
Open X-Embodiment / Octo 로봇 정책 / LoRA / 양자화 / Diffusion Policy / 모방 학습