문서 둘러보기
ASOT 행동 분할
ASOT는 최적 수송으로 긴 동영상의 행동 구간을 비지도 학습하는 방법이다. 프레임과 행동 종류 사이의 비용에 시간 일관성 사전을 더해 분할하고, 의사 라벨을 만들어 자기 학습에 활용한다.
CLOT 행동 분할
CLOT는 프레임과 행동 구간의 표현을 순환적으로 개선하는 최적 수송 기반 비지도 행동 분할 방법이다. 여러 수준의 최적 수송과 교차 주의를 결합해 의사 라벨과 표현을 함께 정제한다.
C2F-TCN
C2F-TCN은 거친 수준부터 세밀한 수준까지 디코더 출력을 결합하는 시간적 행동 분할 모델이다. 지도 학습과 표현 학습에 활용할 수 있으며, ICC 방식으로 주석이 있는 영상과 없는 영상을 함께 다룬다.
행동 분할의 경계 감독과 구간 정규화
행동 분할의 경계 감독과 구간 정규화는 기존 모델에 경계 예측과 누적 분포 기반 손실을 더하는 학습 방법이다. 행동이 바뀌는 시점과 같은 구간 안의 일관성을 함께 다루어 세밀한 시간 분할을 보완한다.
EffiDiffAct
EffiDiffAct는 확산 기반 행동 분할의 연산 비용을 줄이기 위한 방법이다. 경량 시간 특징 인코더와 유사도에 따른 적응형 건너뛰기로 긴 동영상 처리 및 반복 추론의 비용을 다룬다.
Diffusion Action Segmentation
Diffusion Action Segmentation은 영상 특징을 조건으로 행동 분할을 반복 생성하는 잡음 제거 확산 프레임워크다. 무작위 잡음에서 시작해 프레임별 행동 예측을 정제하고 조건 입력의 마스킹으로 행동 특성을 학습한다.
Temporal Segment Transformer
Temporal Segment Transformer는 행동 구간과 프레임 사이의 주의로 구간 표현을 정제하는 행동 분할 모델이다. 구간 간 시간 관계를 학습하고 행동 종류와 경계를 보완한 뒤 구간 마스크의 투표로 최종 분할을 만든다.
ASRF 행동 구간 정제
ASRF는 행동의 프레임별 분류와 경계 예측을 나누고 두 결과를 결합해 시간 구간을 정제하는 프레임워크다. 긴 시간 특징을 공유하는 두 분기에서 행동 종류와 전환 경계의 확률을 각각 예측한다.
SATA SSD와 M.2 SSD의 연결과 호환성
케이블형 SATA SSD와 M.2 SSD의 연결, 크기 표기, 슬롯 호환성과 포트 공유를 설명한다.
ASFormer
ASFormer는 긴 동영상의 행동을 프레임별로 나누기 위한 트랜스포머 모델이다. 지역 연결성 사전과 계층 표현을 사용하고 디코더가 인코더의 초기 예측을 정제하도록 구성한다.
MS-TCN
MS-TCN은 긴 동영상의 각 프레임에 행동을 배정하고 시간 구간을 나누는 다단계 시간 합성곱 모델이다. 앞 단계의 예측을 다음 단계가 보완하며 분류 손실과 과분할을 억제하는 평활화 손실로 학습한다.
EgoEnv
EgoEnv는 일인칭 영상에서 카메라 착용자의 주변 환경을 예측하는 표현을 학습하는 방법이다. 짧은 클립에 보이는 내용뿐 아니라 보이지 않을 수 있는 주변 공간의 문맥을 영상 이해에 활용한다.
EgoPlan-Bench2
EgoPlan-Bench2는 여러 일상 시나리오에서 다중 모달 언어 모델의 계획 능력을 평가하는 벤치마크다. 일인칭 영상으로 반자동 구성한 사례를 사람이 검증하고, 추가 학습 없는 다중 모달 프롬프트도 비교한다.
EgoDTM
EgoDTM은 깊이 정보와 텍스트를 함께 활용해 일인칭 영상 표현을 학습하는 모델이다. 추정한 의사 깊이 지도와 손·물체 단서로 보강한 설명을 사용해 삼차원 인지 사전 학습과 영상·텍스트 대조 학습을 결합한다.
EgoPlan-Bench
EgoPlan-Bench는 실제 상황을 일인칭으로 관찰할 때 다중 모달 언어 모델이 과제를 계획하는 능력을 평가하는 벤치마크다. 시각 관측과 다양한 행동 계획을 다루며 전용 지시 미세 조정 자료 EgoPlan-IT를 함께 제시했다.
AdaVid
AdaVid는 사용 가능한 연산 자원에 맞춰 추론 시 임베딩 차원을 조절하는 영상·언어 인코더 프레임워크다. 적응형 트랜스포머와 긴 영상의 짧은 클립 특징을 모으는 계층 구조를 제시한다.
Ego-VPA
Ego-VPA는 일인칭 영상·언어 모델을 적은 학습 매개변수로 후속 과제에 적응시키는 방법이다. 프레임과 텍스트 특징을 공유 기저 프롬프트로 희소하게 근사하고 이를 조합해 영상·텍스트 프롬프트를 만든다.
EgoVideo
EgoVideo는 일인칭 영상·언어 이중 인코더를 바탕으로 여러 영상 이해 과제에 적용한 모델이다. Ego4D와 EPIC-KITCHENS의 질의, 행동 인식과 예측 및 검색 과제로의 적응을 다룬다.
LaViLa
LaViLa는 언어 모델로 동영상 설명을 생성해 영상·언어 표현 학습을 보강하는 방법이다. 시각 입력을 조건으로 설명하는 모델을 미세 조정하고 생성한 서술을 영상·텍스트 대조 학습에 활용한다.
EgoVLPv2
EgoVLPv2는 일인칭 영상·언어 사전 학습에서 모달 간 융합을 인코더 내부에 넣는 방법이다. 사전 학습한 교차 모달 주의 모듈을 여러 후속 과제에서 재사용하도록 구성한다.
EgoVLP
EgoVLP는 일인칭 영상과 언어의 전이 가능한 표현을 학습하는 프레임워크다. Ego4D에서 구성한 EgoClip, 일인칭 관계를 고려한 대조 목적 EgoNCE와 개발 평가 EgoMCQ를 함께 제시했다.
VC-1과 CortexBench
VC-1은 다양한 일인칭 영상과 ImageNet으로 마스크 자동 인코딩을 학습한 시각 모델이다. CortexBench는 이동과 탐색, 손 조작 및 이동 조작의 17개 과제로 사전 학습 표현을 비교하는 평가 묶음이다.
Voltron 로봇 표현 학습
Voltron은 사람 동영상과 캡션으로 로봇에 필요한 시각 표현을 학습하는 프레임워크다. 언어를 조건으로 한 시각 복원과 영상에 근거한 언어 생성을 결합해 공간 정보와 의미 정보를 함께 학습한다.
LIV 로봇 시각 보상
LIV는 언어 또는 이미지로 지정한 목표에 대한 시각 표현과 보상을 함께 학습하는 방법이다. 행동 주석 없이 텍스트가 붙은 동영상으로 학습하고, 후속 영상의 각 프레임에 목표 관련 보상을 부여한다.
MVP 운동 제어 사전 학습
MVP 운동 제어 사전 학습은 자연 영상의 일부를 가리고 복원하며 배운 시각 표현을 제어에 사용하는 방법이다. 시각 인코더는 고정하고 그 위의 제어기를 강화 학습으로 훈련한다.
R3M
R3M은 사람의 다양한 동영상으로 사전 학습한 로봇 조작용 시각 표현이다. 시간 대조 학습과 영상·언어 정렬, 희소성 규제를 결합하며 이후 정책 학습에서 고정된 인지 모듈로 사용할 수 있다.
VIP 시각 보상 학습
VIP는 행동 주석이 없는 사람 동영상에서 시각 표현과 목표 이미지 기반 보상을 학습하는 방법이다. 가치 함수 관점의 자기지도 사전 학습으로 임베딩 거리가 시간에 따라 부드러운 보상 단서가 되도록 한다.
EgoBridge
EgoBridge는 일인칭 사람 시연과 로봇 시연을 도메인 적응으로 함께 학습하는 모방 학습 프레임워크다. 정책의 잠재 특징과 행동을 함께 정렬해 사람·로봇 사이의 차이를 줄이면서 행동에 필요한 정보를 유지한다.
EgoVoice
EgoVoice는 일인칭 영상과 음성을 보며 언제 말하고 무엇을 안내할지 학습하는 음성 지원 프레임워크다. HoloAssist를 재구성한 자료로 침묵과 발화의 선택을 학습하고 선호 최적화로 개입을 개선한다.
EgoMimic 로봇 모방 학습
EgoMimic은 일인칭 사람 영상과 삼차원 손 추적을 로봇 시연과 함께 학습하는 조작 프레임워크다. 사람·로봇 자료의 정렬과 양팔 조작 장치를 결합해 하나의 정책을 학습한다.
HoloAssist
HoloAssist는 작업 수행자와 안내자가 협력하는 일인칭 상호작용 데이터셋이다. 혼합 현실 헤드셋의 관측과 대화를 함께 기록해 실수 검출, 개입 유형 예측과 손 움직임 예측을 연구한다.
EgoVerse
EgoVerse는 일인칭 사람 시연을 수집·처리·공유해 로봇 학습에 활용하는 협업형 자료 플랫폼이다. 표준 형식의 시연과 조작 관련 주석을 제공하고 여러 연구실에서 사람 자료의 로봇 전이를 평가한다.
NymeriaPlus
NymeriaPlus는 기존 Nymeria의 몸 움직임과 공간 주석을 확장한 데이터셋이다. 개선된 몸 동작 표현, 실내 물체와 구조물의 이차원·삼차원 상자, 개별 물체의 삼차원 복원 및 추가 관측을 제공한다.
HOT3D
HOT3D는 일인칭 다중 관점 영상으로 손과 물체의 삼차원 추적을 연구하는 데이터셋이다. 손·물체의 광학 마커 기반 자세 주석과 동기화된 헤드셋 관측을 제공한다.
Nymeria
Nymeria는 여러 일인칭 장치와 전신 움직임을 함께 기록한 일상 동작 데이터셋이다. 장치들을 같은 삼차원 공간과 시간에 맞추고 동작의 세부 서술부터 활동 요약까지 계층적인 언어 설명을 제공한다.
EgoHOS
EgoHOS는 일인칭 영상에서 손과 상호작용 물체를 화소 단위로 분할하는 데이터셋과 모델이다. 손·물체 접촉 경계를 세밀하게 주석하고 문맥을 고려한 조합형 증강으로 다른 촬영 분포에 대한 적응을 다룬다.
ENIGMA-51
ENIGMA-51은 산업 작업의 사람·물체 상호작용을 이해하기 위한 일인칭 데이터셋이다. 참여자가 지시에 따라 전기 기판을 수리하는 과정을 기록하고 상호작용 검출과 예측, 언어 이해 과제를 제공한다.
HA-ViD
HA-ViD는 산업 조립 활동의 절차와 협업을 이해하기 위한 동영상 데이터셋이다. 행동을 수행자, 동작 동사, 조작 물체, 대상 물체와 도구로 세분화하고 시간·공간 주석을 제공한다.
MECCANO 행동 데이터셋
MECCANO는 산업과 유사한 작업 환경에서 사람의 행동을 분석하기 위한 일인칭 다중 모달 데이터셋이다. 헤드셋으로 컬러 영상과 깊이, 시선을 동시에 기록하고 조작 인식 및 예측 과제를 다룬다.
Assembly101
Assembly101은 조립과 분해의 절차적 활동을 여러 시점에서 기록한 데이터셋이다. 고정 지시 없이 장난감 차량을 다루는 영상에 동작 구간과 삼차원 손 자세를 주석으로 제공한다.
EPIC-KITCHENS-100
EPIC-KITCHENS-100은 주방의 일상 활동을 머리 부착 카메라로 기록한 일인칭 동영상 데이터셋이다. 세밀한 동작 주석과 여러 평가 과제를 통해 인식·예측 및 환경 변화에 대한 일반화를 다룬다.
Ego4D
Ego4D는 일상 활동을 일인칭 카메라로 기록한 대규모 동영상 데이터셋과 벤치마크 모음이다. 과거 장면의 검색, 현재의 손·물체 및 대화 분석과 미래 활동 예측을 다룬다.
HOI4D
HOI4D는 일인칭 RGB-D 동영상으로 물체 범주 수준의 사람·물체 상호작용을 연구하는 데이터셋이다. 시간별 손과 물체 자세, 분할 주석과 공간 자료를 제공해 동적 장면의 인식 및 추적을 평가한다.
Ego-Exo4D
Ego-Exo4D는 숙련된 활동을 일인칭과 외부 시점에서 동시에 기록한 다중 모달 데이터셋이다. 동영상에 음성, 시선, 공간 정보와 여러 언어 설명을 연결해 활동 이해 및 자세 추정 과제를 제공한다.
GIMO
GIMO는 시선과 주변 장면을 활용해 사람의 움직임을 예측하는 연구와 데이터셋이다. 몸 자세 시퀀스, 장면 스캔과 시선을 담은 일인칭 자료를 연결하고 시선·동작 정보를 양방향으로 주고받는 모델을 제시한다.
EgoBody
EgoBody는 머리에 착용한 장치의 일인칭 시점에서 상호작용 상대의 몸 자세와 형상, 움직임을 추정하기 위한 데이터셋이다. 일인칭 센서 자료와 다중 관점 촬영을 보정해 장면 기준의 삼차원 몸 주석을 구성한다.
GVHMR
GVHMR는 중력과 카메라의 시선 방향으로 정한 좌표계에서 사람의 자세를 추정하는 전역 동작 복원 방법이다. 프레임마다 정의한 Gravity-View 좌표의 자세를 카메라 회전으로 전역 좌표로 변환한다.
SLAHMR
SLAHMR는 동영상에서 사람과 카메라의 움직임을 분리해 여러 사람의 전역 궤적을 복원하는 방법이다. 상대 카메라 추정과 학습한 사람 움직임 사전을 결합해 장면 척도의 모호함을 다룬다.
BEDLAM 2
BEDLAM 2는 사람과 카메라가 함께 움직이는 조건의 전역 동작 학습을 강화한 합성 데이터셋이다. 기존 BEDLAM보다 카메라 운동과 인체 외형, 동작 및 환경의 다양성을 넓히고 카메라 움직임 정답을 제공한다.
WHAC
WHAC는 단안 동영상에서 사람의 자세·형상과 카메라의 전역 움직임을 함께 추정하는 프레임워크다. SMPL-X 인체 추정과 사람 움직임의 공간 단서를 이용해 실제 크기를 갖는 궤적 복원을 다룬다.
BEDLAM
BEDLAM은 다양한 사람의 외형과 옷, 움직임을 합성한 단안 RGB 동영상 데이터셋이다. SMPL-X 형식의 삼차원 몸 정답을 제공하며 합성 자료로 학습한 자세·형상 추정기를 실제 영상에서 평가한다.
EMDB
EMDB는 실내외 일상 영상의 사람 자세와 형상, 몸과 카메라의 전역 궤적을 제공하는 데이터셋이다. 몸에 착용한 무선 전자기 센서와 휴대전화 영상을 결합해 삼차원 몸 주석을 구성한다.
TRAM 인체 궤적 복원
TRAM은 일상 동영상에서 사람의 전역 궤적과 움직임을 복원하는 두 단계 방법이다. 배경을 이용해 카메라 움직임의 척도를 구하고, 동영상 트랜스포머로 추정한 몸 움직임과 결합한다.
WHAM
WHAM은 동영상에서 사람의 삼차원 움직임을 전역 좌표계로 복원하는 방법이다. 모션 캡처로 학습한 자세 변화와 영상 특징, 카메라의 회전 정보를 결합하고 접촉을 고려해 궤적을 다듬는다.
GLAMR
GLAMR는 움직이는 카메라로 촬영한 단안 동영상에서 사람의 삼차원 메시와 전역 움직임을 복원하는 방법이다. 가려진 동작을 보완하고 지역 몸 움직임에서 전역 궤적을 예측해 카메라 자세와 함께 최적화한다.
HuMoR
HuMoR는 시간에 따른 사람의 자세와 형상을 추정하기 위한 삼차원 동작 모델이다. 조건부 변이형 자동 인코더로 매 단계의 자세 변화 분포를 학습하고 이를 관측에 맞춘 최적화의 동작 사전으로 사용한다.
AMASS
AMASS는 서로 다른 모션 캡처 데이터셋을 공통 몸 모델 표현으로 통합한 동작 자료다. 마커 기반 기록을 삼차원 몸 메시로 바꾸어 자세와 표면 형상을 같은 방식으로 다룰 수 있게 한다.
LEMO 동작 사전
LEMO는 삼차원 장면 속 사람의 동작을 단안 영상에서 복원하기 위한 동작 사전 기반 방법이다. 시간별 자세의 흔들림을 줄이는 사전과 접촉 마찰 및 가려진 움직임을 채우는 구성을 결합한다.
PLACE 사람 장면 생성
PLACE는 사람의 몸과 삼차원 장면 사이의 근접 관계를 학습해 상호작용하는 몸을 생성하는 방법이다. 장면의 기준점에서 몸 표면까지의 최소 거리를 생성하고 이를 바탕으로 몸의 배치를 얻는다.
POSA
POSA는 몸을 기준으로 주변 장면과의 접촉 및 의미 관계를 학습하는 모델이다. SMPL-X 메시의 꼭짓점마다 장면 표면과 닿을 확률 및 대응하는 장면의 의미 범주를 표현한다.
PROX 장면 제약 자세 추정
PROX는 정적인 삼차원 장면을 이용해 단일 영상의 사람 자세 추정을 보완하는 방법이다. 몸이 주변 표면을 관통하지 않도록 하고 가까운 부위의 접촉을 유도해 장면에 맞는 자세를 찾는다.
COUCH 사람 의자 상호작용
COUCH는 물체의 접촉 위치를 조건으로 사람과 의자의 상호작용 동작을 생성하는 방법이다. 손의 접촉을 고려한 제어 신호를 먼저 예측하고 이를 이용해 움직임을 합성한다.
RICH 전신 접촉 데이터셋
RICH는 실제 장면에서 사람과 주변 환경의 접촉을 연구하는 데이터셋이다. 실내외 다중 관점 영상, 사람과 장면의 삼차원 자료 및 몸 꼭짓점 수준의 접촉 주석을 함께 제공한다.
CHORE
CHORE는 단일 RGB 영상에서 사람과 물체 및 상호작용을 함께 복원하는 방법이다. 암시적 거리장과 대응 정보를 예측하고, 몸 모델과 삼차원 물체 템플릿을 이 정보에 맞춘다.
PHOSA
PHOSA는 통제되지 않은 단일 영상에서 사람과 물체의 삼차원 배치를 추정하는 방법이다. 물체 크기, 가림과 사람·물체 상호작용에 관한 제약을 결합해 장면 전체의 배치를 맞춘다.
InterTrack
InterTrack은 미리 정한 물체 형상 템플릿 없이 동영상에서 사람·물체 상호작용을 추적하는 방법이다. 시간별 자세 추적과 기준 형상의 최적화를 나누어 복원하고 프레임 사이의 일관성을 다룬다.
검색 보강 손 물체 복원
검색 보강 손 물체 복원은 영상 속 손에 들린 물체의 형상을 여러 프레임에서 일관되게 맞추는 접근이다. MCC-HO로 손·물체 기하를 복원하고, RAR로 얻은 물체 형상을 영상과 삼차원 관측에 정렬한다.
BEHAVE 상호작용 데이터셋
BEHAVE는 자연스러운 환경에서 사람과 물체의 전신 상호작용을 기록한 데이터셋과 추적 방법이다. 다중 관점 RGB-D 영상에 사람 모델과 물체의 삼차원 정합 및 접촉 주석을 연결한다.
InterCap
InterCap은 여러 관점의 RGB-D 영상에서 상호작용하는 전신과 물체를 마커 없이 추적하는 방법과 데이터셋이다. SMPL-X 전신 모델과 알려진 물체 메시를 사용하고 손·물체 접촉을 자세 추정에 활용한다.
ContactOpt
ContactOpt는 손과 물체의 예상 접촉을 이용해 손 자세를 개선하는 방법이다. 손 메시와 물체 메시에서 바람직한 접촉을 예측한 뒤 미분 가능한 접촉 모델로 손 자세를 최적화한다.
ObMan
ObMan은 손이 물체를 조작하는 장면을 담은 대규모 합성 데이터셋이다. 손과 물체를 함께 복원하는 모델의 학습과 평가에 사용되며, 접촉 제약을 활용하는 공동 복원 연구와 함께 제시되었다.
ContactDB
ContactDB는 열화상을 이용해 사람이 물체를 잡았을 때의 접촉 영역을 기록한 데이터셋이다. 기능적 의도를 가지고 삼차원 출력 물체를 잡는 실험을 통해 접촉 지도와 동기화된 RGB-D·열 영상을 제공한다.
OakInk 2
OakInk 2는 복잡한 일상 작업을 수행하는 양손·물체 조작 데이터셋이다. 행동 가능성, 기본 작업과 복합 작업의 세 수준으로 활동을 구성하고, 손과 몸 및 상호작용 물체의 자세를 함께 제공한다.
ContactPose
ContactPose는 손과 물체의 접촉을 손 자세, 물체 자세 및 RGB-D 영상과 함께 제공하는 파지 데이터셋이다. 손의 관절 배치와 실제 접촉 영역의 관계를 분석하고 접촉 모델링 방법을 평가한다.
OakInk
OakInk는 물체가 제공하는 행동 가능성과 사람의 손·물체 상호작용을 연결한 지식 자료다. 일상 물체의 기능적 특성을 정리한 Oak와 실제 기록 및 전이한 상호작용을 담은 Ink로 구성된다.
GOAL 전신 파지 동작 생성
GOAL은 물체를 잡는 가상 인물의 전신 동작을 생성하는 방법이다. 물체의 삼차원 형상과 위치, 시작 몸 자세와 형상을 입력받아 목표 파지 자세와 그곳까지의 움직임을 만든다.
Hand3R
Hand3R는 단안 동영상에서 움직이는 손과 주변 장면을 함께 복원하는 온라인 프레임워크다. 사전 학습된 손 전문가와 사차원 장면 모델을 연결하고 지속적인 장면 기억에 손 정보를 반영한다.
GRAB 전신 파지 데이터셋
GRAB은 사람이 물체를 잡고 조작할 때의 전신 움직임을 담은 삼차원 데이터셋이다. 손뿐 아니라 몸과 얼굴, 물체의 자세를 시간에 따라 복원하고 몸과 물체 사이의 접촉을 계산한다.
Pose2Mesh
Pose2Mesh는 이차원 사람 자세에서 삼차원 자세와 메시를 복원하는 그래프 합성곱 기반 방법이다. 영상의 외형 대신 관절의 기하 정보를 입력으로 사용하고 메시 연결 구조를 활용해 꼭짓점 좌표를 예측한다.
AssemblyHands-X
AssemblyHands-X는 양손 활동에서 손과 몸의 협응을 연구하는 삼차원 벤치마크다. 마커 없는 다중 관점 영상에서 손과 상체의 자세를 맞추고, 결합된 자세 정보가 행동 인식에 미치는 영향을 비교한다.
HOLD 손 물체 복원
HOLD는 단안 상호작용 영상에서 손과 물체의 삼차원 모습을 함께 복원하는 방법이다. 물체 종류별로 미리 스캔한 형상을 전제하는 대신 손과 물체를 분리된 암시적 표현으로 구성한다.
I2L-MeshNet
I2L-MeshNet은 단일 RGB 영상에서 사람의 자세와 메시를 추정하는 방법이다. 메시 꼭짓점 좌표를 바로 회귀하는 대신 좌표별 일차원 히트맵으로 위치의 가능도를 예측한다.
MANO 손 모델
MANO는 손의 형상과 관절 움직임에 따른 표면 변형을 표현하는 저차원 삼차원 손 모델이다. 여러 사람의 고해상도 손 스캔으로 학습하며, 몸 모델 SMPL과 결합해 손과 몸의 움직임을 함께 표현할 수 있다.
HAMR 손 메시 복원
HAMR는 단일 RGB 영상으로 손의 삼차원 메시를 복원하는 방법이다. 손 형상과 상대적인 삼차원 관절 각도로 손 모델을 매개변수화하고, 투영된 관절과 주석의 차이를 학습에 활용한다.
MaskHand
MaskHand는 단일 RGB 영상의 모호한 손 자세를 확률적으로 다루는 생성형 메시 복원 방법이다. 손 자세를 이산 토큰으로 표현하고 영상과 이차원 자세 정보를 조건으로 가려진 토큰을 예측한다.
HaMeR
HaMeR는 단안 영상에서 손의 삼차원 메시를 복원하는 트랜스포머 기반 방법이다. 이차원·삼차원 손 주석을 가진 여러 데이터셋을 결합하고 큰 비전 트랜스포머를 사용한다.
InterHand2점6M
InterHand2.6M은 한 손과 서로 상호작용하는 두 손의 자세를 담은 데이터셋이다. 약 260만 개의 주석 프레임과 단일 RGB 영상에서 삼차원 손 자세를 추정하는 기준 모델 InterNet을 함께 제시했다.
WildHands
WildHands는 일상적인 일인칭 영상에서 삼차원 손 자세를 추정하는 시스템이다. 손 영역의 잘라내기, 카메라 정보, 보조 감독과 학습 자료 규모가 추정에 미치는 영향을 조사한 연구를 바탕으로 한다.
AssemblyHands
AssemblyHands는 조립과 분해 장면의 손 자세를 연구하는 데이터셋이다. 동기화된 일인칭·외부 시점 영상에서 다중 관점 정보를 결합해 손 자세 주석을 만들며, 가림이 많은 작업 장면을 다룬다.
H2O 손 물체 상호작용
H2O는 일인칭 시점에서 두 손과 물체의 상호작용을 인식하기 위한 데이터셋이다. 여러 관점의 RGB-D 영상과 양손 자세, 물체 자세, 상호작용 종류를 함께 제공한다.
ARCTIC 손 물체 데이터셋
ARCTIC은 두 손이 관절을 가진 물체를 조작하는 동작을 기록한 데이터셋이다. 손과 물체의 삼차원 표면, 시간에 따른 접촉 정보를 제공하며 일관된 동작 복원과 상호작용장 추정을 다룬다.
FreiHAND
FreiHAND는 단일 RGB 영상에서 손의 삼차원 자세와 형상을 추정하기 위한 다중 관점 데이터셋이다. 사람이 검토 과정에 참여하는 반자동 주석으로 실제 손 영상의 자세와 형상을 마련했다.
DexYCB
DexYCB는 손이 물체를 쥐는 상황의 손·물체 추정을 평가하는 데이터셋이다. 이차원 검출, 물체의 육차원 자세와 손의 삼차원 자세를 서로 관련된 과제로 다룬다.
HO-3D
HO-3D는 물체를 조작하는 손과 물체의 삼차원 자세를 함께 주석으로 제공하는 데이터셋이다. RGB-D 시퀀스 전체에서 자세를 공동 최적화하는 HOnnotate 방법으로 구축됐다.
기억 증강 과제별 현저성 예측
기억 증강 과제별 현저성 예측은 조건부 생성적 적대 신경망에 기억 구조를 결합하는 방법이다. 영상 내용뿐 아니라 관찰자의 행동 패턴과 과제에 따른 요인을 현저성 모델에 반영하려 한다.
SalGAN
SalGAN은 현저성 지도 예측에 생성적 적대 학습을 활용하는 합성곱 신경망이다. 이진 교차 엔트로피로 학습한 예측에 생성 지도와 정답 지도를 구별하는 판별기를 결합한다.
SaltiNet
SaltiNet은 360도 영상의 주시 순서를 현저성 볼륨에서 생성하는 모델이다. 시간 정보를 포함한 현저성 표현을 학습하고 그 위에서 표본 추출해 시선 경로를 만든다.
Context-SalNET
Context-SalNET은 보행 상황의 시각적 주의를 긴급성과 안전 선호 같은 문맥 조건으로 예측하는 모델이다. 희소한 정답 지도에 대응하는 손실과 제한된 학습 자료의 불확실성을 함께 다룬다.
UIGaze
UIGaze는 시각 언어 모델이 사용자 인터페이스에서 사람의 주의 위치를 얼마나 닮게 예측하는지 평가한 연구다. 모델이 생성한 좌표를 현저성 지도로 바꾸어 실제 시선 추적 자료와 비교한다.
Beyond Average 시선 개인화
Beyond Average는 일반적인 주시 경로 모델에 관찰자별 특성을 반영하는 개인화 방법이다. 관찰자 인코더와 관찰자 중심 특징 통합, 적응적인 주시 우선순위 조절을 결합한다.