접촉과 관찰을 함께 모사하기
접촉이 잦은 조작에서 젤의 물리적 변형과 센서 카메라의 관찰은 연결되어 있다. TacEx는 연성체 접촉 모델과 시각 촉각 모델을 결합해 이 두 부분을 함께 다룬다.
모듈형 통합
접촉 시뮬레이터 GIPC와 촉각 시뮬레이터 Taxim 및 FOTS를 Isaac Sim 안에 넣는다. 목표 센서는 GelSight Mini이며 각 구성 요소의 역할을 구분하는 통합 방식이다.
학습 환경
Isaac Lab에서 물체 밀기와 들어 올리기, 막대 균형 잡기 등의 강화 학습 환경을 구현했다. 촉각 관찰이 실제로 정책 학습의 입력으로 활용될 수 있는지 확인한다.
검증 범위
연구는 시뮬레이션의 안정성과 젤 변형, 카메라 RGB 같은 고차원 관찰의 학습 활용을 살폈다. 가상 환경에서의 학습 가능성과 실제 로봇으로의 전이 성능은 별개로 검증해야 한다.
관련 문서
Taxim / TACTO / DIGIT 촉각 센서 / 시뮬레이션 / 강화 학습 / Sim-to-Real