문서 둘러보기
AI2-THOR
AI2-THOR는 가상 에이전트가 실내 공간을 이동하고 물체와 상호작용하는 시각 인공지능 연구 환경이다. 관측과 행동의 연속을 다루는 다양한 학습 및 계획 과제를 지원한다.
ProcTHOR
ProcTHOR는 에이전트 학습용 실내 환경을 절차적으로 생성하는 체계다. 다양한 가상 주택에서 이동과 상호작용 및 조작을 학습하고 새로운 평가 환경으로의 전이를 살핀다.
RoboTHOR
RoboTHOR는 가상 환경과 대응하는 실제 공간을 짝지어 시뮬레이션에서 현실로의 전이를 평가하는 플랫폼이다. 물리적 실험 조건을 맞추고 반복 가능한 비교를 구성하는 문제를 다룬다.
TEACh
TEACh는 대화로 정보를 주고받으며 가상 가사 활동을 완수하는 데이터셋이다. 환경에서 행동하는 수행자와 과제 정보를 아는 지시자의 상호작용을 통해 모호성 해결과 오류 회복을 연구한다.
ALFRED
ALFRED는 자연어 지시와 일인칭 영상을 가사 활동의 행동 시퀀스로 연결하는 벤치마크다. 긴 복합 작업과 되돌리기 어려운 상태 변화를 포함해 언어와 실제 관측의 연결을 평가한다.
BEHAVIOR
BEHAVIOR는 청소와 유지 관리 및 음식 준비 같은 일상 가사 활동을 평가하는 시뮬레이션 벤치마크다. 활동의 시작과 목표를 논리 조건으로 정의하고 사람 시연을 기준으로 진행과 효율을 비교한다.
iGibson
iGibson은 실제 주택의 배치를 반영한 가상 환경에서 로봇의 이동과 물체 상호작용을 연구하는 시뮬레이터다. 초기 1.0 구성은 센서와 물리 변화 및 동작 계획과 사람 시연 수집을 결합했다.
Gibson Env
Gibson Env는 실제 공간을 가상화해 에이전트의 시각 인식과 행동을 학습하는 환경이다. 물리와 공간의 제약을 가진 가상 로봇에서 학습한 인식이 실제 환경으로 이어지는 문제를 다룬다.
Habitat
Habitat은 사실적인 삼차원 시뮬레이션에서 가상 로봇의 인식과 행동을 학습하고 평가하는 연구 플랫폼이다. 센서와 에이전트를 구성하는 시뮬레이터에 과제 정의와 학습 및 비교 도구를 결합한다.
Matterport3D
Matterport3D는 건물 전체 규모의 실내 공간을 파노라마 RGB-D 관측으로 기록한 데이터셋이다. 정밀하게 정렬한 카메라와 표면 복원 및 이차원과 삼차원 의미 주석을 제공한다.
Replica 데이터셋
Replica는 실제 실내 공간을 사실적인 삼차원 장면으로 복원한 데이터셋이다. 기하와 고해상도 표면 정보 및 의미 주석을 함께 제공해 장면 인식과 가상 에이전트 연구를 지원한다.
ScanNet
ScanNet은 실내 공간을 촬영한 RGB-D 영상과 삼차원 복원 및 의미 주석을 함께 제공하는 데이터셋이다. 장면 인식과 분할 및 물체 검색처럼 공간 이해가 필요한 연구에 사용된다.
ScanNet200
ScanNet200은 ScanNet 장면을 이백 개 의미 범주로 평가하도록 확장한 삼차원 분할 벤치마크다. 실제 공간의 다양한 물체와 자연스러운 범주 불균형을 더 넓게 다룬다.
DyCo3D
DyCo3D는 개체의 성질에 맞춰 합성곱 커널을 생성하는 점군 인스턴스 분할 방법이다. 같은 의미 범주와 가까운 중심 예측을 가진 점에서 문맥을 모아 동적인 마스크 생성을 수행한다.
HAIS 점군 분할
HAIS는 점을 작은 집합으로 묶고 그 집합들을 다시 합쳐 물체 개체를 만드는 분할 방법이다. 계층적 집계와 개체 내부 예측으로 과도한 분할과 불완전한 묶음을 다룬다.
PointGroup
PointGroup은 원래 점군과 물체 중심 쪽으로 이동시킨 점군을 함께 묶어 개체를 분할하는 방법이다. 의미 범주와 위치 오프셋을 예측한 뒤 후보 개체의 점수를 평가해 중복을 줄인다.
SoftGroup
SoftGroup은 점의 의미 범주를 하나로 확정하기 전에 여러 가능성을 유지하며 개체를 묶는 분할 방법이다. 부드러운 상향식 묶음 뒤에 하향식 정제를 적용해 초기 분류 오류의 전파를 줄이려 한다.
Mask3D 인스턴스 분할
Mask3D 인스턴스 분할은 트랜스포머 질의로 점군에서 물체별 마스크를 직접 예측하는 방법이다. 여러 크기의 점 특징을 반복해 참조하며 개체 마스크들을 병렬로 생성한다.
OneFormer3D
OneFormer3D는 점군의 의미 분할과 인스턴스 분할 및 파놉틱 분할을 한 체계에서 학습하는 모델이다. 의미 범주와 물체 개체를 위한 질의를 함께 사용해 마스크를 생성한다.
Open3DIS
Open3DIS는 여러 영상의 이차원 마스크를 삼차원 점군 영역으로 모아 물체 제안을 만드는 분할 방법이다. 이를 기존 삼차원 제안과 결합해 작거나 기하적으로 모호한 물체도 포함하려 한다.
OpenMask3D
OpenMask3D는 고정된 범주 목록을 넘어 자연어로 삼차원 물체 개체를 찾는 분할 방법이다. 범주에 독립적인 마스크 제안과 여러 시점의 CLIP 영상 특징을 결합한다.
SLAG 언어 증강 가우시안
SLAG는 큰 장면의 언어 임베딩을 여러 GPU에서 계산하는 가우시안 스플래팅 체계다. 가우시안마다 언어 특징을 손실 함수로 최적화하는 대신 정규화한 가중 평균으로 구한다.
의미 일관성 기반 언어 가우시안 검색
의미 일관성 기반 언어 가우시안 검색은 영상 사이에서 분할 마스크를 추적해 삼차원 점 질의의 감독 정보를 정리하는 연구다. 증류한 기준 표현을 먼저 검색한 뒤 개별 가우시안을 찾는 두 단계 질의를 제안한다.
FMLGS
FMLGS는 삼차원 가우시안 장면에서 물체 전체와 부분을 자연어로 찾는 방법이다. 여러 세밀도에서 일관된 의미 표현을 만들고 물체 부분을 지칭할 때 생기는 언어적 모호성을 다룬다.
OpenGaussian
OpenGaussian은 삼차원 가우시안의 점 수준에서 언어로 물체를 선택하고 이해하는 방법이다. 일관된 개체 특징과 단계적 코드북 및 이차원 특징의 연결을 활용한다.
Feature 3DGS
Feature 3DGS는 이차원 기반 모델의 의미 특징을 삼차원 가우시안 표현으로 증류하는 방법이다. 영상 합성에 쓰는 장면 표현을 분할과 언어 기반 편집 같은 작업으로 확장한다.
Gaussian Grouping
Gaussian Grouping은 삼차원 가우시안에 식별 인코딩을 추가해 장면의 복원과 분할을 함께 수행하는 방법이다. 물체나 영역에 속한 가우시안을 묶어 선택과 편집에 활용한다.
LangSplat
LangSplat은 언어 특징을 삼차원 가우시안에 담아 자연어로 장면을 검색하는 표현이다. 장면별 잠재 공간과 계층적 의미를 활용해 언어장의 렌더링 비용과 물체 경계 문제를 다룬다.
LangSurf
LangSurf는 삼차원 언어 표현을 물체 표면에 맞춰 정렬하는 가우시안 기반 장면 이해 방법이다. 기하 감독과 대조 손실을 이용하며 영상 전체의 문맥과 계층별 세부 특징을 함께 다룬다.
Cinebench 2026의 Single Core와 Single Thread
2026의 Single Core는 SMT를 활용하는 별도 테스트이며, SMT를 사용할 수 없으면 비활성화된다.
LERF
LERF는 NeRF 안에 언어 임베딩을 결합해 자연어로 삼차원 장면을 검색하는 방법이다. 장면의 여러 위치와 크기에 의미 표현을 학습하고 질의에 관련된 영역을 지도처럼 보여 준다.
OpenScene
OpenScene은 삼차원 장면의 점을 텍스트 및 영상과 같은 CLIP 특징 공간에 표현하는 장면 이해 방법이다. 고정된 범주만 분류하는 대신 자연어 질의와의 유사도로 장면을 검색한다.
CLIP-Fields
CLIP-Fields는 공간 위치를 의미 임베딩으로 연결하는 암시적 장면 모델이다. 웹 자료로 사전 학습한 모델의 신호를 사용해 장면 기억을 만들고 의미 검색과 로봇 이동 등에 활용한다.
ConceptGraphs
ConceptGraphs는 장면의 물체와 관계를 개방형 삼차원 그래프로 나타내는 표현이다. 이차원 기반 모델의 출력을 여러 시점에서 연결해 의미와 공간 관계가 필요한 계획에 활용한다.
ConceptFusion
ConceptFusion은 언어와 이미지 및 음성 등으로 질의할 수 있는 개방형 삼차원 지도 표현이다. 사전 학습한 기반 모델의 특징을 공간 지도에 융합해 정해진 범주 밖의 개념도 찾으려 한다.
VLMaps
VLMaps는 사전 학습 시각 언어 특징을 물리 환경의 삼차원 복원과 결합한 지도 표현이다. 자연어로 지도의 위치를 찾고 공간 관계가 포함된 로봇 이동 목표를 지정하는 데 사용한다.
HomeRobot
HomeRobot은 낯선 가정 환경에서 지시한 물체를 찾아 집고 목표 장소에 놓는 이동 조작 연구 기반이다. 인식과 언어 이해 및 이동과 조작을 함께 평가하는 OVMM 벤치마크를 제공한다.
OK-Robot
OK-Robot은 물체 인식과 이동 및 파지 모듈을 통합해 가정에서 집어 옮기기를 수행하는 로봇 체계다. 새 통합 학습 없이 기존 시각 언어 모델과 로봇 기능을 연결하는 세부 조건을 연구한다.
DITTO 월드 모델 모방 학습
DITTO 월드 모델 모방 학습은 학습한 환경 모델 안에서 전문가와의 차이를 줄이는 오프라인 모방 알고리즘이다. 실제 환경에 새로 접근하지 않고 여러 시점에 걸친 잠재 표현의 차이를 최적화한다.
MOKA
MOKA는 영상에 표시한 마크를 이용해 시각 언어 모델의 판단을 로봇 조작으로 연결하는 방법이다. 간결한 점 기반 행동 가능성 표현으로 자연어 지시와 실제 움직임 사이를 잇는다.
DITTO 궤적 변환
DITTO 궤적 변환은 한 번 촬영한 사람의 RGB-D 시연을 현재 장면에 맞는 로봇 궤적으로 바꾸는 방법이다. 물체의 상대 움직임을 추출한 뒤 새 배치에서 다시 검출해 궤적을 변환한다.
RoboTAP
RoboTAP은 시연 영상의 점 이동을 추적해 로봇 동작으로 연결하는 시각 모방 방법이다. 작업에 관련된 움직임을 골라 저수준 제어기에 반영하고 장면 배치가 바뀌어도 그 움직임을 재현하려 한다.
CLIPort
CLIPort는 물체의 의미를 이해하는 경로와 정확한 공간 조작을 다루는 경로를 결합한 모방 학습 에이전트다. 언어 지시를 조건으로 여러 탁상 조작 과제를 학습한다.
Transporter Networks
Transporter Networks는 시각 특징을 공간적으로 재배치해 로봇 행동에 필요한 이동을 추론하는 모델이다. 물체의 정해진 자세나 모델 및 핵심점을 미리 가정하지 않고 관측에서 조작을 배운다.
Gato 범용 에이전트
Gato는 같은 네트워크와 가중치로 언어와 영상 및 행동 과제를 처리하는 범용 정책 연구다. 입력 문맥에 따라 텍스트나 로봇 제어 및 게임 조작처럼 다른 형태의 토큰을 출력한다.
VIMA
VIMA는 텍스트와 시각 토큰이 섞인 프롬프트로 로봇 조작 과제를 지정하는 트랜스포머 에이전트다. 언어 지시와 목표 이미지 및 시연처럼 다른 형태의 요구를 공통 표현으로 다룬다.
3D Diffusion Policy
3D Diffusion Policy는 희소한 점군에서 얻은 공간 표현을 행동 확산 정책에 결합하는 시각 모방 학습 방법이다. DP3라고도 부르며 적은 시연으로 조작을 배우고 관측 조건의 변화에 일반화하는 문제를 다룬다.
PerAct
PerAct는 언어 목표와 삼차원 복셀 관측으로 조작 행동을 배우는 다중 과제 모방 학습 에이전트다. Perceiver-Actor의 약칭이며 다음 행동을 수행할 복셀을 찾는 형태로 문제를 구성한다.
RVT 로봇 뷰 트랜스포머
RVT는 작업 공간을 여러 가상 시점에서 다시 렌더링하고 시점별 정보를 결합하는 로봇 조작 모델이다. 명시적인 복셀 표현의 계산 부담을 줄이면서 삼차원 구조를 활용하려 한다.
Code as Policies
Code as Policies는 자연어 명령을 로봇 정책 코드로 바꾸는 접근이다. 언어 모델이 인식 결과를 처리하고 기존 제어 API를 호출하는 프로그램을 생성하도록 한다.
VoxPoser
VoxPoser는 언어 지시에서 얻은 조작 조건을 삼차원 가치 지도로 구성하고 로봇 궤적을 계획하는 방법이다. 언어 모델의 코드 생성과 시각 언어 모델을 연결해 관측 공간에 작업 지식을 반영한다.
PaLM-E
PaLM-E는 영상과 연속적인 상태 정보를 언어 입력에 결합하는 체화 다중 모달 모델이다. 실제 관측과 단어의 의미를 연결하며 로봇 조작 계획과 시각 질의 응답 등을 공동 학습한다.
SayCan
SayCan은 언어 모델이 제안하는 작업 절차를 로봇의 실제 수행 가능성과 연결하는 방법이다. 고수준 지식은 언어 모델에서 얻고, 미리 학습한 기술의 가치 함수로 현재 환경에서 가능한 동작을 판단한다.
RT-1
RT-1은 여러 실제 조작 경험을 함께 학습하는 Robotics Transformer 계열의 로봇 제어 모델이다. 자료량과 모델 크기 및 경험의 다양성이 일반화에 주는 영향을 연구한다.
RT-2
RT-2는 웹의 시각 언어 지식과 로봇 조작 자료를 함께 활용하는 시각 언어 행동 모델이다. 로봇 행동을 텍스트 토큰으로 표현해 언어 응답과 같은 학습 형식에 넣는다.
Octo 로봇 정책
Octo는 여러 로봇의 경험으로 사전 학습하고 새 환경에 미세 조정하는 범용 조작 정책이다. 언어 지시나 목표 이미지로 조건을 주며 관측 센서와 행동 공간이 다른 로봇으로의 적응을 다룬다.
OpenVLA
OpenVLA는 영상과 언어를 바탕으로 로봇 행동을 출력하는 공개 시각 언어 행동 모델이다. 실제 로봇 시연으로 학습하며 새 과제로의 미세 조정과 계산 효율을 함께 다룬다.
BridgeData V2
BridgeData V2는 저비용 로봇으로 여러 환경의 조작 행동을 수집한 데이터셋이다. 목표 이미지나 자연어 지시로 조건을 주는 다중 과제 학습과 환경 간 일반화 연구를 지원한다.
Open X-Embodiment
Open X-Embodiment는 서로 다른 로봇에서 수집한 조작 자료를 표준 형식으로 묶고 통합 정책 학습을 연구하는 협업이다. 함께 제시한 RT-X 모델은 다른 플랫폼의 경험을 활용하는 전이를 평가한다.
FastUMI
FastUMI는 휴대형 조작 시연 장치의 설치와 자료 수집 절차를 간소화하려는 UMI 기반 체계다. 하드웨어를 분리 설계하고 기성 추적 모듈을 활용하며 학습 자료의 확인과 연결도 함께 다룬다.
ZeroMimic
ZeroMimic은 이미 촬영된 사람의 일인칭 작업 영상에서 로봇 조작 기술을 학습하는 체계다. 목표 이미지를 조건으로 동작하며 별도의 로봇 시연이나 탐색 없이 기술을 옮기는 문제를 다룬다.
ARMimic
ARMimic은 XR 헤드셋과 작업 공간 카메라로 사람의 조작 시연을 수집해 로봇 정책을 학습하는 체계다. 증강 현실의 로봇 표시와 손 추적을 이용해 로봇에서 실행 가능한 시연을 구성한다.
HIL-UMI
HIL-UMI는 휴대형 시연 수집 중 현재 로봇 정책의 예측을 참고해 추가 자료를 모으는 후속 학습 체계다. 로봇을 직접 움직여 개입하는 대신 사람의 시연과 정책의 판단 차이를 활용한다.
RealDexUMI
RealDexUMI는 로봇 손과 손 내부 카메라 및 손끝 촉각 센서를 결합한 착용형 시연 수집 체계다. 수집할 때와 로봇에서 실행할 때 같은 말단 장치를 사용해 손과 물체의 접촉 정보를 연결한다.
TacUMI
TacUMI는 휴대형 그리퍼에서 시각 촉각 정보와 힘 및 자세를 함께 수집하는 조작 시연 체계다. 접촉이 많은 긴 작업을 의미 있는 단계로 나누는 데 여러 감각 정보를 활용한다.
DROID 로봇 데이터셋
DROID는 여러 장소에서 수집한 실제 로봇 조작 시연을 모은 데이터셋이다. 좁은 실험실 환경에 치우치기 쉬운 로봇 학습 자료의 장면과 과제 다양성을 넓히려 한다.
UMI 로봇 시연 인터페이스
UMI는 휴대용 손잡이형 그리퍼로 사람의 조작 시연을 수집하고 이를 로봇 정책 학습에 연결하는 체계다. 수집 장소마다 로봇 팔을 설치해야 하는 부담을 줄이는 방향으로 설계됐다.
ACT 행동 청킹
ACT는 로봇이 수행할 여러 시점의 행동을 묶어서 학습하는 트랜스포머 기반 모방 학습 방법이다. 저비용 양팔 로봇으로 정밀 조작을 배우는 연구에서 제안됐다.
Diffusion Policy
Diffusion Policy는 관측에 맞는 로봇 행동을 조건부 잡음 제거 과정으로 생성하는 정책 학습 방법이다. 여러 가능한 움직임을 하나의 평균 동작으로 뭉개지 않고 행동 분포로 다룬다.
robomimic
robomimic은 사람이 남긴 로봇 조작 시연으로 정책을 학습하고 비교하는 연구 체계다. 알고리즘뿐 아니라 시연의 품질과 학습 종료 시점이 실제 수행 결과를 어떻게 바꾸는지 살핀다.
robosuite
robosuite는 MuJoCo를 바탕으로 로봇 학습용 과제를 구성하는 시뮬레이션 프레임워크다. 모듈을 조합하는 구조와 벤치마크 환경을 제공해 연구 조건을 구성하고 비교하도록 돕는다.
FurnitureBench
FurnitureBench는 긴 가구 조립 과제를 실제 로봇에서 재현하고 비교하는 벤치마크다. 정해진 초기화 절차와 인쇄 가능한 가구 모델, 수집 시연 및 대응 시뮬레이터를 제공한다.
Meta-World
Meta-World는 서로 다른 로봇 조작 과제에서 다중 과제 학습과 메타 강화 학습을 평가하는 시뮬레이션 벤치마크다. 같은 동작의 작은 변형을 넘어 새로운 행동을 빠르게 배우는 능력을 살피려 한다.
ManiSkill
ManiSkill은 같은 물체 범주 안에서도 모양과 구조가 크게 다른 대상을 조작하는 능력을 평가하는 벤치마크다. 물리 시뮬레이션과 자기 시점 점군 및 RGB-D, 대규모 성공 시연을 제공한다.
RLBench
RLBench는 여러 난도의 로봇 조작 과제와 자동 생성 시연을 제공하는 학습 환경이다. 고유감각과 RGB, 깊이, 분할 마스크 관찰을 지원하고 강화 학습과 모방 학습, 소수 예제 학습을 평가하도록 설계했다.
CALVIN
CALVIN은 로봇의 센서 관찰과 언어 지시로 긴 조작 과제를 학습하는 시뮬레이션 벤치마크다. 여러 기술을 이어 수행하고 새로운 언어 지시와 환경, 물체로의 제로샷 전이를 평가한다.
LIBERO
LIBERO는 로봇이 과제를 연속해서 배우며 지식과 행동을 다음 과제로 옮기는 능력을 평가하는 벤치마크다. 선언적 지식과 절차적 지식의 전이, 과제 순서와 사전 학습의 영향을 함께 연구한다.
RoboCasa
RoboCasa는 주방을 중심으로 일상 환경과 과제, 시연 자료를 확장하는 로봇 학습 시뮬레이션 프레임워크다. 다양한 물체와 가전, 생성한 시각 자산과 자동 궤적 생성으로 범용 정책 학습을 지원한다.
RoboTwin
RoboTwin은 이미지에서 만든 물체의 디지털 트윈과 언어 모델의 공간 관계 기반 코드 생성으로 양팔 로봇 학습 자료를 만드는 프레임워크다. 가상 및 실제 자료를 함께 사용해 정책을 평가한다.
DexArena
DexArena는 여러 기술을 이어 수행하는 긴 양손 조작을 평가하는 벤치마크다. 장기 과제 열 개와 단계별 과제 서른 개를 정의하고 중간 진척과 전체 완료를 따로 평가한다.
DexVerse
DexVerse는 여러 과제와 로봇 구성, 시각 조건에서 다지 조작을 평가하는 모듈형 벤치마크다. 백 가지 과제를 제공하며 질감과 조명, 카메라 시점 등을 조절해 시각 기반 정책의 일반화를 살핀다.
DexArt
DexArt는 다지 로봇 손으로 여러 관절 물체를 조작하며 새 물체로의 일반화를 평가하는 시뮬레이션 벤치마크다. 점군 입력의 3차원 표현 학습과 강화 학습을 함께 연구한다.
DexDeform
DexDeform은 사람 시연에서 변형 물체 조작 기술을 배우고 미분 가능한 물리로 계획을 개선하는 프레임워크다. 보정한 궤적을 새 시연으로 사용해 기술 모델을 다시 학습한다.
DexRepNet
DexRepNet은 손과 물체의 기하 및 공간 관계를 표현하는 DexRep으로 다지 파지 정책을 학습하는 방법이다. 대략적인 점유 형상과 표면 거리, 접촉 후보 부근의 국소 기하를 함께 사용한다.
ManipTrans와 DexManipNet
ManipTrans는 사람의 양손 동작을 로봇 손으로 옮기는 두 단계 학습 방법이다. 궤적 모방을 사전 학습한 뒤 상호작용 제약 아래 잔차 모듈을 조정하며, DexManipNet은 이 방법으로 만든 로봇 조작 자료다.
DemoMimic
DemoMimic은 접촉점 부근의 국소 기하에 집중해 사람 시연의 조작 전략을 다른 물체로 옮기는 정책이다. 정밀한 접촉을 장려하는 보상으로 실제 전이와 물체 간 일반화를 연구한다.
DexTac
DexTac은 직접 가르치는 시연에서 접촉력 분포와 접촉 영역을 수집해 시각 촉각 정책을 학습하는 프레임워크다. 힘의 크기뿐 아니라 손이 어디에 닿는지를 함께 활용해 접촉을 유지하도록 한다.
AdvDex와 OmniShare
AdvDex는 사람과 로봇 시연의 행동 공간을 맞추고 신체 구성에 치우친 시각 정보를 줄이는 VLA 프레임워크다. OmniShare는 운동학 감독과 촉각 측정을 포함한 사람 조작 시연 자료다.
HandsOn 조작 벤치마크
HandsOn은 여러 로봇 팔과 다지 손, 물체를 조합해 조작 일반화를 평가하는 시뮬레이션 플랫폼이다. 사람 시연에 기반한 학습 과제와 목표 과제 시연 없는 전이 과제를 나누어 제공한다.
DexForce
DexForce는 사람이 로봇을 직접 이끄는 시연에서 접촉력을 측정하고, 이를 반영한 행동 목표를 계산하는 모방 학습 방법이다. 힘을 고려한 정답 행동과 정책 관찰에 힘을 넣는 효과를 나누어 평가했다.
FoLD 관절 물체 조작
FoLD는 사람 시연과 현재 로봇 접촉 상태에서 보완 힘장을 계산해 관절 물체 조작을 배우는 프레임워크다. 이 힘 사전 정보를 잔차 정책에 제공해 대응시킨 사람 손동작을 접촉 요구에 맞게 조정한다.
촉각 기반 중력 피벗 조작
촉각 기반 중력 피벗 조작은 평행 그리퍼의 파지점을 중심으로 물체가 미끄러져 회전하도록 제어하는 연구다. 촉각으로 각도와 각속도를 추정하고 그리퍼의 열림과 닫힘을 조절한다.
토크 제어 손의 촉각 회전 학습
토크 제어 손의 촉각 회전 학습은 카메라 없이 손의 위치와 토크 감지만으로 큐브를 돌리는 연구다. 손바닥이 아래를 향한 상태에서 다시 잡기를 계속하며 물체를 유지하는 정책을 강화 학습한다.
AnyRotate
AnyRotate는 손의 방향과 회전축이 달라지는 조건에서 물체를 손안 회전하는 시스템이다. 조밀한 촉각 표현으로 시뮬레이션 정책을 학습하고 실제 환경으로 옮겨 새 물체에 적용한다.
Touch Dexterity
Touch Dexterity는 물체를 보지 않고 손의 여러 부분에 분포한 이진 접촉 신호로 손안 회전을 수행하는 시스템이다. 시뮬레이션의 다양한 물체로 강화 학습한 정책을 실제 로봇 손으로 옮긴다.
FR-VLA
FR-VLA는 시각 언어 맥락에서 힘 피드백의 관련성을 판단한 뒤 행동 생성에 반영하는 모델이다. 학습 가능한 힘 질의 토큰으로 수용 신호를 만들고 별도의 힘 토큰 경로를 조절한다.
타우 촉각 보강 VLA
타우는 미래 시각 표현을 학습 신호로 사용해 행동 조건의 시공간 촉각 표현을 배우는 VLA 프레임워크다. 미래 감독은 학습 때만 쓰고, 얻은 촉각 표현을 시각 언어 특징과 결합해 행동을 생성한다.
CompVLA
CompVLA는 RGB 영상과 언어에서 움직임과 강성 행렬을 함께 예측하는 시각 언어 행동 모델이다. 컴플라이언스 전문가가 시간에 따라 달라지는 강성과 가상 변위 프로파일을 내고 기하학적 임피던스 제어로 실행한다.
FAVLA
FAVLA는 느린 시각 언어 계획과 빠른 힘 기반 행동 제어를 분리하는 모델이다. 가까운 미래의 힘 변화 예측에 따라 행동 전문가의 실행 주기를 조정하고 최신 힘 관찰로 행동을 보정한다.
ForceVLA
ForceVLA는 외부 힘 센서를 독립 모달리티로 사용하는 시각 언어 행동 프레임워크다. 힘 인지 전문가 혼합 모듈로 사전 학습 시각 언어 표현과 실시간 6축 힘 피드백을 행동 해독 단계에서 결합한다.