문서 둘러보기
Tac-Man
Tac-Man은 관절 물체의 운동학 사전 모델 대신 안정적인 로봇 물체 접촉을 유지하며 조작하는 방법이다. 촉각 피드백을 이용해 문과 서랍처럼 내부 구조가 다를 수 있는 물체를 다룬다.
VisForce
VisForce는 현재 힘과 목표 힘을 해당 손끝 위치에 시각적으로 표시해 조작을 조건화하는 모델이다. 현재 손목 영상과 과제별 목표 영상의 힘 단서를 교차 주의로 결합해 행동을 생성한다.
시각 힘 예측 기반 로봇 학습
시각 힘 예측 기반 로봇 학습은 유연한 Fin Ray 그리퍼의 변형 영상에서 힘을 추정하고, 그 힘을 기준으로 행동 후보를 선택하는 연구다. 힘 추정기와 행동 힘 제안 정책을 별도로 학습한다.
AF-ON과 셔터 반누름의 차이
AF 시작 기능은 같을 수 있지만, 백버튼 포커스는 초점 조작과 촬영 버튼을 분리하는 설정이다.
ForceSight
ForceSight는 RGB-D 영상과 텍스트 지시에서 로봇 말단의 목표 자세와 관련 힘 목표를 예측하는 이동 조작 시스템이다. 위치 중심의 목표에 힘을 명시적으로 더해 접촉이 필요한 과제를 수행한다.
MOMA-Force
MOMA-Force는 시각 표현 학습과 모방 학습, 어드미턴스 전신 제어를 결합하는 이동 로봇 조작 방법이다. 복잡한 동작을 배우면서 접촉력과 제어 강건성을 함께 다루려 한다.
TacForeSight
TacForeSight는 손목 힘과 토크를 조건으로 가까운 미래의 촉각 잠재 상태를 예측하는 조작 프레임워크다. 예측된 접촉 정보를 정책에 제공하고 시각 촉각 특징을 적응적으로 결합한다.
Visible Touch
Visible Touch는 접촉 신호를 정책이 보는 장면과 같은 공간 좌표에 시각화해 전달하는 방법이다. 이미지 입력 정책의 구조를 바꾸지 않고 접촉 정보를 활용하도록 설계하고 자기식 접촉 센서도 함께 제안했다.
TaF-VLA
TaF-VLA는 촉각 관찰을 시각적 질감뿐 아니라 물리적 상호작용 힘에 정렬하는 시각 언어 행동 모델이다. 동기화된 촉각 힘 자료와 TaF-Adapter로 시간적 촉각 표현을 학습해 로봇 조작에 활용한다.
UniForce
UniForce는 여러 촉각 센서가 공유하는 잠재 힘 공간을 학습하는 프레임워크다. 영상에서 힘과 힘에서 영상을 함께 모델링하고, 센서 사이의 접촉과 정적 평형을 활용해 대응 자료를 모은다.
FeelTheForce
FeelTheForce는 사람의 촉각 장갑 측정과 시각적 손 자세 추정으로 힘을 다루는 로봇 정책을 학습하는 시스템이다. 예측한 힘을 추적하도록 그리퍼 닫힘을 조절하는 폐루프 제어를 사용한다.
ForceBand
ForceBand는 손목의 표면 근전도와 관성 신호로 손가락별 힘을 추정해 사람 시연에 힘 정보를 더하는 시스템이다. 사용자별 보정 후 밴드와 영상으로 시연을 모으고 EMG2Force가 힘 궤적을 붙인다.
FARM 힘 인지 조작
FARM은 촉각에서 얻는 힘 정보를 관찰과 행동 공간 모두에 활용하는 확산 정책 기반 모방 학습 방법이다. 로봇 자세와 그리퍼 폭, 파지력을 함께 예측해 힘 요구가 다른 조작을 다룬다.
ForceMimic
ForceMimic은 위치 궤적뿐 아니라 상호작용 힘을 함께 학습하는 로봇 모방 학습 시스템이다. 로봇 없는 시연 수집 장치 ForceCapture와 힘 위치 혼합 제어를 사용하는 HybridIL을 제안했다.
ReTouch
ReTouch는 미래 촉각과 행동 묶음을 함께 예측하고 실행 중 들어오는 촉각으로 둘을 수정하는 시각 언어 행동 모델이다. 손가락 정체성과 국소 접촉 구조를 보존하는 촉각 패치 표현을 사용한다.
Touch-R1
Touch-R1은 물성의 순서 관계와 센서 차이를 고려해 촉각 추론을 강화 학습하는 다중모달 언어 모델이다. 촉각 입력을 제거하거나 섞은 대조 조건보다 실제 촉각에서 더 정확할 때 보상하는 학습을 사용한다.
Dex-X
Dex-X는 사람 영상의 손 물체 상호작용을 시뮬레이션에서 복원해 촉각 감독을 얻는 로봇 학습 프레임워크다. 복원한 접촉 정보로 정책을 학습하고 점군과 촉각으로 실행하는 정책에 증류한다.
UniDex-ViTac
UniDex-ViTac은 사람 영상을 기준으로 시뮬레이션에서 로봇 행동과 손끝 접촉을 생성해 통합 정책을 학습하는 방법이다. 점군과 고유감각, 네 손끝의 이진 접촉 신호로 실행하는 ACT 기반 정책을 제안했다.
코일음과 고주파 소음
코일음은 삐 소리 형태로도 들릴 수 있으며, 소리의 표현만으로 개별 기기의 원인을 확정할 수는 없다.
MimicTouch
MimicTouch는 사람이 손으로 직접 보여준 촉각 기반 시연에서 로봇 조작 정책을 배우는 프레임워크다. 다중모달 자료 수집과 모방 학습, 온라인 잔차 강화 학습으로 사람 손과 로봇 그리퍼의 차이를 다룬다.
Bi-Touch
Bi-Touch는 두 로봇 팔과 TacTip 촉각 센서로 양팔 조작을 학습하는 시스템이다. 양쪽 밀기와 방향 바꾸기, 모으기 과제를 구성하고 강화 학습 정책을 실제 환경으로 전이한다.
Tactile Gym 2점0
Tactile Gym 2.0은 여러 광학 촉각 센서의 강화 학습과 실제 전이를 비교하는 시뮬레이션 환경이다. TacTip과 DIGIT, DigiTac을 지원하고 밀기와 모서리 및 표면 따라가기를 평가했다.
TAVI 촉각 적응 학습
TAVI는 시각에서 얻은 보상으로 촉각 기반 다지 조작 정책을 개선하는 프레임워크다. 사람 시연 하나와 학습된 시각 표현의 최적 수송 대응으로 보상을 만들고 실제 로봇에서 온라인 강화 학습한다.
DexTouch
DexTouch는 시각 정보에 의존하지 않고 촉각으로 물체를 찾고 조작하는 다지 로봇 시스템이다. 사전 정보가 주어진 조건에서 시뮬레이션 강화 학습으로 정책을 학습해 실제 환경으로 전이한다.
FingerSLAM
FingerSLAM은 손끝 촉각과 손목 카메라의 시각 정보를 결합해 모르는 손안 물체의 자세와 형상을 추정하는 방법이다. 인자 그래프와 루프 폐쇄로 누적 오차를 줄이고 국소 점군을 이어 형상을 복원한다.
MidasTouch
MidasTouch는 물체 표면을 미끄러지는 촉각 센서의 위치와 자세 분포를 시간에 따라 갱신하는 시스템이다. 국소 형상의 압축 코드와 물체별 코드북을 비교하는 입자 필터로 한 번의 접촉이 가진 모호함을 줄인다.
NeuralFeels와 FeelSight
NeuralFeels는 손안 조작 중 시각과 촉각으로 물체의 형상과 자세를 함께 추정하는 방법이다. 온라인으로 신경장을 학습하고 자세 그래프를 최적화하며, FeelSight는 함께 공개한 70개 실험의 평가 자료다.
DTactive
DTactive는 움직이는 접촉 표면으로 촉각 감지와 손안 조작을 함께 수행하는 센서다. 촉각 이미지와 구동부의 자기 인코더 자료를 사용해 물체의 각도 궤적을 제어하는 방법을 제안했다.
StereoTac
StereoTac은 접촉 전의 3차원 시각과 접촉 후의 촉각 형상을 한 센서에 결합하는 방법이다. 두 카메라의 입체 시각과 광도 스테레오를 각각 활용하고 내부 조명으로 접촉면의 투명도를 조절한다.
DelTact
DelTact는 조밀한 무작위 색상 패턴의 변형을 추적하는 시각 기반 촉각 센서다. 패턴에 맞춘 조밀한 광류에서 접촉 표면의 형상과 힘 분포를 추정한다.
DTact
DTact는 반투명 탄성체의 반사 특성과 촉각 영상의 어두운 정도를 이용해 접촉 형상을 측정하는 센서다. 한 장의 영상으로 보정하는 구성을 제안하고 비평면 접촉 표면으로도 확장했다.
9DTact
9DTact는 표면의 보조 표식 없이 3차원 형상을 복원하고 6차원 힘을 추정하는 시각 기반 촉각 센서다. 반투명 젤의 광학 및 변형 특성과 이미지 힘 쌍으로 학습한 신경망을 활용한다.
HumanFT
HumanFT는 사람 손끝과 비슷한 형태에서 힘과 진동, 과열 정보를 다루는 다중모달 시각 촉각 센서다. 다섯 손가락 로봇 손에 적합한 소형 감지 구조를 목표로 제안됐다.
DenseTact
DenseTact는 어안 카메라의 영상과 심층 합성곱 신경망으로 센서 표면의 3차원 변형을 추정하는 광학 촉각 센서다. 작은 크기와 제작 확장성을 고려해 조밀한 표면 복원을 연구했다.
GelTip
GelTip은 손가락 모양의 표면 전반에서 접촉 위치를 감지하도록 설계한 광학 촉각 센서다. 높은 해상도의 촉각 이미지로 손끝뿐 아니라 손가락 몸체의 여러 위치에 닿는 접촉을 관찰한다.
헤드폰 출력과 액티브 스피커 AUX 연결
헤드폰 출력과 라인 출력의 용도, 스테레오 배선과 입력 레벨을 구분해 연결한다.
AllSight
AllSight는 둥근 3차원 접촉면을 갖는 엄지 크기의 광학 촉각 센서다. 대부분을 3차원 인쇄로 구성하고 접촉 위치와 힘, 비틀림을 추정하는 모델의 센서 간 활용을 연구했다.
GelSlim 3점0
GelSlim 3.0은 작은 평행 그리퍼에 장착하도록 형상과 힘, 미끄러짐 감지를 통합한 촉각 손가락이다. 광학 경로를 최적화하고 교체 가능한 손끝 모듈로 제작과 수리를 고려했다.
HTT와 HPT 촉각 학습
HTT는 센서별 인코더와 공통 트랜스포머로 서로 다른 촉각 센서의 표현을 함께 학습하는 모델이다. HPT는 네 시각 및 배열 기반 센서에서 동기화한 160만 쌍의 프레임을 제공한다.
Touch-to-Touch Translation
Touch-to-Touch Translation은 같은 물리적 자극에 대한 한 촉각 센서의 출력을 다른 센서의 출력으로 변환하는 문제다. 카메라 기반 DIGIT 영상에서 정전용량 기반 CySkin 응답을 만드는 방법을 비교했다.
EgoTac
EgoTac은 사람의 자기 시점 영상에서 촉각 정보를 예측하는 모델이다. 연속 힘 측정과 이진 접촉을 포함한 이미지 촉각 쌍으로 학습해, 촉각이 없는 영상에 접촉 관련 사전 정보를 더하려 한다.
TACROSS
TACROSS는 사람 촉각 장갑과 로봇 센서의 서로 다른 신호를 접촉 사건 수준에서 연결하는 시스템이다. 사람 자료로 촉각 표현을 학습하되 행동 정답은 로봇 시연에서 얻는 정책 학습 방식을 제시한다.
OPENTOUCH
OPENTOUCH는 실제 환경의 자기 시점 영상과 손 전체의 촉각, 자세를 동기화한 자료다. 5.1시간의 기록과 상세한 텍스트 주석이 있는 2,900개 클립으로 검색과 분류를 평가한다.
TouchScale
TouchScale은 하나의 통일된 착용형 장비로 기록한 500시간 규모의 사람 시각 촉각 상호작용 자료다. 자기 시점 영상과 손목 영상, 양손 전체의 조밀한 촉각 측정을 시간적으로 정렬한다.
TaRF
TaRF는 장면의 시각과 촉각을 공통 3차원 공간에 표현하는 촉각 보강 방사장이다. 사진과 드물게 수집한 접촉 관찰을 정렬하고, 주어진 위치에 대응하는 시각 및 촉각 신호를 추정한다.
Touch and Go
Touch and Go는 사람이 자연 환경에서 물체를 촉각 센서로 탐색하면서 자기 시점 영상을 함께 기록한 자료다. 시각과 촉각의 대응 쌍으로 표현 학습과 감각 간 생성, 미래 촉각 예측을 연구한다.
Touch2Shape
Touch2Shape는 촉각을 조건으로 하는 확산 모델로 물체 형상을 복원하고 탐색하는 방법이다. 촉각 임베딩과 형상 융합으로 복원을 다듬고, 잠재 표현을 활용한 강화 학습으로 탐색 정책을 학습한다.
TouchAnything
TouchAnything는 소수의 촉각 관찰과 물체 범주 설명으로 3차원 형상을 복원하는 프레임워크다. 사전 학습된 2차원 시각 확산 모델의 형상 사전 지식을 촉각의 기하 제약과 결합한다.
ShapeMap 3-D
ShapeMap 3-D는 촉각 센서와 깊이 카메라의 관찰을 누적해 물체의 3차원 형상을 만드는 방법이다. 촉각 영상에서 복원한 국소 표면을 가우스 과정 기반 공간 인자 그래프에 결합한다.
TouchSDF
TouchSDF는 촉각 이미지의 국소 표면과 DeepSDF 기반 암시적 표현을 결합해 3차원 형상을 복원하는 방법이다. 합성곱 신경망으로 접촉 위치의 메시를 얻고 부호 거리 함수로 전체 표면을 표현한다.
Digit 360
Digit 360은 반구형의 유연한 손끝 구조에서 여러 감각을 측정하는 인공 촉각 플랫폼이다. 다방향 접촉과 힘, 진동, 열 등을 다루고 센서 내부 신경망 가속기로 관찰을 처리한다.
DigiTac
DigiTac은 DIGIT에 TacTip 계열의 3차원 인쇄 감지 표면을 결합한 촉각 센서다. 서로 다른 광학 촉각 구조를 직접 비교하도록 설계했으며, 자세 예측과 촉각 서보 제어를 평가했다.
AT-VLA
AT-VLA는 촉각을 넣는 시점과 위치를 적응적으로 정하고, 느린 시각 언어 처리와 빠른 촉각 제어를 분리하는 로봇 모델이다. 기존 VLA 표현의 간섭을 줄이면서 접촉 피드백에 반응하려는 접근이다.
ViTaL 로봇 조작 정책
ViTaL은 관심 물체에 접근하는 단계와 접촉 후의 국소 조작을 분리하는 정책 학습 프레임워크다. 장면 수준의 위치 판단에는 시각 언어 모델을, 국소 상호작용에는 자기 시점 영상과 촉각을 활용한다.
TLA 촉각 언어 행동 모델
TLA는 연속적인 촉각 피드백을 언어와 연결해 접촉이 많은 로봇 조작의 행동을 생성하는 모델이다. 손끝 핀 삽입 조립을 위한 촉각, 행동, 지시 자료로 학습과 평가를 수행했다.
VLA-Touch
VLA-Touch는 기본 시각 언어 행동 모델을 미세 조정하지 않고 촉각 피드백을 추가하는 방법이다. 상위 계획에는 촉각의 의미 설명을 쓰고, 실행에는 촉각 기반 확산 제어기로 행동을 보정한다.
다운로드 파일의 SHA-256 확인
파일 해시는 이름이 아닌 내용을 비교하며, 배포자가 공개한 같은 알고리즘의 기준값과 대조한다.
ZIP 압축과 JPEG 파일 용량
ZIP은 여러 파일을 묶는 용도로도 쓰이며, 이미 압축된 JPEG는 다시 묶어도 용량이 크게 줄지 않을 수 있다.
AnyTouch와 TacQuad
AnyTouch는 여러 시각 촉각 센서의 정적 이미지와 동적 영상을 함께 학습하는 표현 모델이다. TacQuad는 네 종류 센서의 대응 자료를 제공해 센서 간 통합과 지식 전이를 연구하도록 한다.
Octopi와 PhysiCLeAR
Octopi는 촉각 표현과 대규모 시각 언어 모델을 연결해 물체의 물리적 속성을 예측하고 추론하는 시스템이다. 함께 제안한 PhysiCLeAR는 주석된 GelSight 촉각 영상과 속성 추론 과제를 담는다.
ObjectFolder
ObjectFolder는 물체의 시각, 청각, 촉각 반응을 암시적 표현으로 다루는 다중감각 자료 계열이다. 초기 100개 가상화 물체에서 출발했고, ObjectFolder 2.0은 1,000개 물체와 향상된 감각 렌더링을 제안했다.
ObjectFolder Real과 벤치마크
ObjectFolder Real은 실제 가정용 물체 100개의 시각, 청각, 촉각 측정 자료다. 함께 제안한 ObjectFolder Benchmark는 인식과 복원, 조작을 중심으로 다중감각 학습을 평가하는 열 과제의 모음이다.
Tacchi 2점0
Tacchi 2.0은 물질점법 기반 촉각 시뮬레이션에 핀홀 카메라 모델을 결합한 시각 촉각 시뮬레이터다. 누름과 미끄러짐, 회전 조건에서 촉각 이미지와 표식 이동을 모사한다.
TacEx
TacEx는 연성체 접촉과 시각 기반 촉각 시뮬레이터를 Isaac Sim에 결합하는 모듈형 프레임워크다. GelSight Mini의 젤 변형과 카메라 관찰을 생성하고 로봇 정책 학습에 활용한다.
OmniTact
OmniTact는 젤 기반 표면의 여러 방향 변형을 소형 카메라들로 관찰하는 고해상도 촉각 센서다. 로봇 손끝에 장착해 접촉 상태를 추정하고 촉각 기반 조작에 활용하도록 설계했다.
Taxim
Taxim은 GelSight 촉각 센서의 광학 반응과 표면 표식의 이동을 함께 모사하는 시뮬레이션 모델이다. 실제 센서의 예제로 보정한 조회표와 선형 탄성 변형 모델을 활용한다.
TACTO
TACTO는 시각 기반 촉각 센서의 고해상도 관찰을 생성하는 시뮬레이터다. DIGIT과 OmniTact 같은 여러 센서 구성을 지원하며, 촉각 지각 및 제어 연구의 시제품 개발과 평가에 활용한다.
DIGIT 촉각 센서
DIGIT은 여러 손가락을 가진 로봇 손에 장착할 수 있도록 소형화한 시각 기반 촉각 센서다. 손안 조작을 목표로 작은 크기와 높은 해상도, 반복 제작의 용이성을 고려해 설계했다.
RCT 촉각 데이터셋
RCT는 로봇의 누름 접촉을 시퀀스 단위로 보존한 촉각, 시각, 언어 자료다. 재질과 센서, 접촉 위치 등을 학습에서 분리해 새로운 조건으로의 일반화를 평가하도록 설계했다.
TLV와 STLV-Align
TLV는 문장 수준의 설명을 갖춘 촉각, 언어, 시각 자료다. STLV-Align은 이 자료로 세 모달리티의 의미를 정렬하는 경량 학습 프레임워크이며, TVL이라는 별도 연구와 이름을 구별해야 한다.
Sparsh와 TacBench
Sparsh는 시각 기반 촉각 센서의 범용 표현을 자기지도 사전 학습하는 모델 계열이다. TacBench는 센서와 모델을 비교하기 위해 함께 제안한 여섯 과제의 촉각 평가 벤치마크다.
TVL 촉각 시각 언어 정렬
TVL은 촉각과 시각의 관찰을 언어 설명에 연결하는 자료 및 모델 연구다. 4만 4천 쌍의 시각 촉각 자료로 정렬된 촉각 인코더를 학습하고, 분류와 텍스트 생성에 활용한다.
PointLLM
PointLLM은 색을 가진 물체 점군과 사람의 지시를 입력받아 응답하는 3차원 언어 모델이다. 점군 인코더와 언어 모델을 연결하고 잠재 공간 정렬 이후 지시 미세 조정을 수행한다.
UniT 촉각 표현 학습
UniT는 VQGAN의 압축된 잠재 공간을 촉각 표현으로 사용하는 방법이다. 하나의 단순한 물체에서 얻은 촉각 이미지로 표현을 학습하고, 새로운 물체의 지각과 로봇 조작 정책에 전이한다.
Point-Bind와 Point-LLM
Point-Bind는 점군을 이미지, 언어, 오디오, 영상의 표현과 정렬하는 모델이다. Point-LLM은 이 의미 표현을 사전 학습된 언어 모델에 연결해 3차원 다중모달 지시와 질문을 다루는 확장이다.
UniTouch
UniTouch는 시각 기반 촉각 센서의 표현을 이미지, 언어, 소리와 연결하는 모델이다. 사전 학습된 이미지 임베딩에 촉각 표현을 정렬하고 센서별 학습 토큰으로 서로 다른 센서 출력을 다룬다.
EBind
EBind는 여러 대조 학습 모델의 임베딩 공간을 데이터 중심으로 연결하는 방법이다. 모달리티마다 하나의 인코더를 두고, 자동 수집 대응 자료와 사람의 일치 판단 등을 조합해 학습한다.
UniBind
UniBind는 특정 모달리티에 치우치지 않는 정렬 중심을 구성해 일곱 모달리티의 표현을 연결하는 방법이다. 언어 모델이 보강한 텍스트 임베딩 지식과 시각 표현을 활용해 클래스별 중심을 만든다.
ImageBind
ImageBind는 이미지, 텍스트, 오디오, 깊이, 열 영상, 관성 측정 자료를 하나의 임베딩 공간에 연결하는 방법이다. 모든 모달리티 조합의 대응 자료 대신 이미지와 짝지어진 자료를 활용한다.
LanguageBind
LanguageBind는 언어를 중심으로 영상, 오디오, 깊이, 적외선 표현을 공통 공간에 정렬하는 다중모달 사전 학습 방법이다. 언어 인코더를 고정하고 다른 모달리티 인코더를 대조 학습한다.
InternVideo
InternVideo는 마스킹 영상 모델링과 영상 언어 대조 학습을 결합하는 영상 기반 모델이다. 두 사전 학습 방식이 얻은 상보적인 표현을 학습 가능한 방식으로 조율해 여러 영상 이해 과제에 활용한다.
Omnivore
Omnivore는 이미지, 영상, 단일 시점 3차원 시각 자료의 분류를 같은 모델 파라미터로 수행하는 비전 모델이다. 모달리티별 분류 과제를 공동 학습하며 공통 시각 표현의 전이를 연구한다.
MERLOT
MERLOT은 전사된 발화가 있는 영상으로 사건의 맥락과 시간적 관계를 학습하는 다중모달 모델이다. 프레임과 단어의 대응뿐 아니라 영상 전체에서 전개되는 상황을 자기지도 사전 학습으로 다룬다.
VATT
VATT는 영상, 음성, 텍스트의 원시 신호에서 표현을 학습하는 트랜스포머 기반 자기지도 프레임워크다. 모달리티 사이의 대조 학습을 사용하며, 세 입력이 백본 가중치를 공유하는 구성도 연구했다.
AVLnet
AVLnet은 영상 클립과 원래 음성 파형에서 공통 시청각 임베딩을 배우는 자기지도 모델이다. 전사문 없이 음성과 자연음을 활용하며, 텍스트를 추가한 세 모달리티 확장도 제안한다.
TAN 영상 시간 정렬
TAN은 긴 영상과 문장 사이의 정렬 가능 여부를 먼저 판단하고, 가능한 문장의 시간 대응을 찾는 모델이다. 잡음이 있는 교육 영상에서 공동 학습으로 설명을 정제하고 시간 정렬을 학습한다.
DHCP 예약과 수동 고정 IP
같은 IP를 유지하는 목적은 비슷하지만, DHCP 예약은 서버가 배정하고 수동 고정 IP는 기기에 직접 설정한다.
공유기 모드와 AP 모드
공유기 모드는 인터넷 연결과 내부 네트워크를 관리하고, AP 모드는 기존 네트워크에 무선 접속을 더한다.
Wi-Fi 6와 6E, 6GHz의 차이
Wi-Fi 6E는 Wi-Fi 6의 기술을 6GHz 대역으로 확장한 구분이며, 세대 번호와 주파수는 다른 개념이다.
MIL-NCE 영상 표현 학습
MIL-NCE는 내레이션과 영상의 시간적 어긋남을 고려해 표현을 학습하는 방법이다. 여러 가능한 양성 대응을 함께 다루는 학습 목표로 수작업 행동 주석 없는 교육 영상에서 시각 표현을 배운다.
ActBERT
ActBERT는 전체 행동 정보와 국소 물체, 언어 설명을 함께 인코딩하는 영상 텍스트 표현 모델이다. 전역과 국소 단서의 상호작용을 통해 세밀한 시각 언어 대응을 자기지도 학습한다.
All-in-one 영상 언어 트랜스포머
All-in-one 영상 언어 트랜스포머는 원본 영상과 텍스트를 하나의 백본으로 표현하는 사전 학습 모델이다. 매개변수 없는 토큰 롤링으로 영상의 시간 정보를 인코딩하며 단일모달 입력도 같은 구조로 처리한다.
ALPRO
ALPRO는 영상 텍스트 대조 학습과 개체 프롬프트 예측으로 모달리티 사이의 대응을 학습하는 모델이다. 영상 잘라보기 영역과 개체 이름의 유사도를 의사 라벨로 사용해 세밀한 정렬을 훈련한다.
UniVL 영상 언어 모델
UniVL은 영상 언어의 이해와 생성 과제를 함께 준비하는 사전 학습 모델이다. 두 단일모달 인코더와 교차 인코더, 디코더를 여러 학습 목표로 훈련해 표현 학습과 언어 생성을 연결한다.
VideoBERT
VideoBERT는 영상의 시각 토큰과 음성 인식에서 얻은 언어 토큰의 공동 표현을 학습하는 모델이다. 영상 특징을 벡터 양자화하고 BERT 기반의 양방향 학습으로 높은 수준의 의미 관계를 포착한다.
CAMoE와 Dual Softmax
CAMoE와 Dual Softmax는 영상 텍스트의 서로 다른 구조와 내용을 맞추기 위한 검색 방법이다. 여러 관점의 영상 표현을 텍스트와 정렬하고, 양방향 대응을 고려해 유사도 행렬을 보정한다.
T-MASS
T-MASS는 짧은 텍스트 설명을 하나의 고정점 대신 확률적 임베딩으로 표현하는 영상 검색 방법이다. 영상이 담은 다양한 의미를 대응시키기 위해 텍스트 표현에 조절 가능한 의미 범위를 부여한다.
DRL 영상 텍스트 검색
DRL 영상 텍스트 검색은 토큰별 대응과 채널 상관 제거로 순차적이고 계층적인 표현을 학습하는 방법이다. 가중 토큰 상호작용과 채널 비상관 정규화로 서로 다른 수준의 중복을 다룬다.
HBI 영상 언어 상호작용
HBI는 영상 프레임과 텍스트 단어 사이의 대응을 협력 게임의 상호작용으로 평가하는 표현 학습 방법이다. 토큰을 군집화해 병합하고 여러 의미 수준에서 Banzhaf 상호작용을 계산한다.
CLIPRerank
CLIPRerank는 질의와 프레임의 유사도를 추가 계산해 기존 영상 검색 결과를 재정렬하는 방법이다. 프레임별 점수를 최댓값으로 모으고 초기 검색 점수와 가중 결합한다.