위키득계정 ↗
기술

RVT 로봇 뷰 트랜스포머

RVT 로봇 뷰 트랜스포머기술
발표
2023년
이름
Robotic View Transformer
주요 표현
가상 시점의 다중 뷰
원 논문 평가
RLBench 18과제, 249가지 변형
RVT는 작업 공간을 여러 가상 시점에서 다시 렌더링하고 시점별 정보를 결합하는 로봇 조작 모델이다. 명시적인 복셀 표현의 계산 부담을 줄이면서 삼차원 구조를 활용하려 한다.

다시 보는 작업 공간

카메라 입력을 작업 공간 주변의 가상 시점에서 다시 렌더링한다. 여러 방향에서 얻은 표현을 통해 조작에 필요한 공간 정보를 다룬다.

시점 사이의 결합

어텐션으로 여러 뷰의 정보를 모은다. 삼차원 복셀을 직접 크게 구성하는 방법과 달리 시점 기반 표현으로 정확도와 계산 비용의 균형을 찾는 접근이다.

학습과 추론 비교

원 논문은 PerAct와 같은 성능에 도달하는 학습 속도 및 추론 속도를 비교했다. 이런 배수는 특정 장비와 설정에서 얻은 값이므로 모델 이름만으로 실행 시간을 예측할 수 없다.

실제 로봇 실험

시뮬레이션 외에도 과제당 약 열 개 시연을 사용한 실제 조작을 제시했다. 소수 시연의 효과는 평가 과제에서 확인한 결과이며, 새로운 물체와 장면에서는 별도 검증이 필요하다.

관련 문서

PerAct / RLBench / 어텐션 / 트랜스포머 / 3D Diffusion Policy / 점군