문서 둘러보기
COUCH 사람 의자 상호작용
COUCH는 물체의 접촉 위치를 조건으로 사람과 의자의 상호작용 동작을 생성하는 방법이다. 손의 접촉을 고려한 제어 신호를 먼저 예측하고 이를 이용해 움직임을 합성한다.
RICH 전신 접촉 데이터셋
RICH는 실제 장면에서 사람과 주변 환경의 접촉을 연구하는 데이터셋이다. 실내외 다중 관점 영상, 사람과 장면의 삼차원 자료 및 몸 꼭짓점 수준의 접촉 주석을 함께 제공한다.
CHORE
CHORE는 단일 RGB 영상에서 사람과 물체 및 상호작용을 함께 복원하는 방법이다. 암시적 거리장과 대응 정보를 예측하고, 몸 모델과 삼차원 물체 템플릿을 이 정보에 맞춘다.
PHOSA
PHOSA는 통제되지 않은 단일 영상에서 사람과 물체의 삼차원 배치를 추정하는 방법이다. 물체 크기, 가림과 사람·물체 상호작용에 관한 제약을 결합해 장면 전체의 배치를 맞춘다.
InterTrack
InterTrack은 미리 정한 물체 형상 템플릿 없이 동영상에서 사람·물체 상호작용을 추적하는 방법이다. 시간별 자세 추적과 기준 형상의 최적화를 나누어 복원하고 프레임 사이의 일관성을 다룬다.
검색 보강 손 물체 복원
검색 보강 손 물체 복원은 영상 속 손에 들린 물체의 형상을 여러 프레임에서 일관되게 맞추는 접근이다. MCC-HO로 손·물체 기하를 복원하고, RAR로 얻은 물체 형상을 영상과 삼차원 관측에 정렬한다.
BEHAVE 상호작용 데이터셋
BEHAVE는 자연스러운 환경에서 사람과 물체의 전신 상호작용을 기록한 데이터셋과 추적 방법이다. 다중 관점 RGB-D 영상에 사람 모델과 물체의 삼차원 정합 및 접촉 주석을 연결한다.
InterCap
InterCap은 여러 관점의 RGB-D 영상에서 상호작용하는 전신과 물체를 마커 없이 추적하는 방법과 데이터셋이다. SMPL-X 전신 모델과 알려진 물체 메시를 사용하고 손·물체 접촉을 자세 추정에 활용한다.
ContactOpt
ContactOpt는 손과 물체의 예상 접촉을 이용해 손 자세를 개선하는 방법이다. 손 메시와 물체 메시에서 바람직한 접촉을 예측한 뒤 미분 가능한 접촉 모델로 손 자세를 최적화한다.
ObMan
ObMan은 손이 물체를 조작하는 장면을 담은 대규모 합성 데이터셋이다. 손과 물체를 함께 복원하는 모델의 학습과 평가에 사용되며, 접촉 제약을 활용하는 공동 복원 연구와 함께 제시되었다.
ContactDB
ContactDB는 열화상을 이용해 사람이 물체를 잡았을 때의 접촉 영역을 기록한 데이터셋이다. 기능적 의도를 가지고 삼차원 출력 물체를 잡는 실험을 통해 접촉 지도와 동기화된 RGB-D·열 영상을 제공한다.
OakInk 2
OakInk 2는 복잡한 일상 작업을 수행하는 양손·물체 조작 데이터셋이다. 행동 가능성, 기본 작업과 복합 작업의 세 수준으로 활동을 구성하고, 손과 몸 및 상호작용 물체의 자세를 함께 제공한다.
ContactPose
ContactPose는 손과 물체의 접촉을 손 자세, 물체 자세 및 RGB-D 영상과 함께 제공하는 파지 데이터셋이다. 손의 관절 배치와 실제 접촉 영역의 관계를 분석하고 접촉 모델링 방법을 평가한다.
OakInk
OakInk는 물체가 제공하는 행동 가능성과 사람의 손·물체 상호작용을 연결한 지식 자료다. 일상 물체의 기능적 특성을 정리한 Oak와 실제 기록 및 전이한 상호작용을 담은 Ink로 구성된다.
GOAL 전신 파지 동작 생성
GOAL은 물체를 잡는 가상 인물의 전신 동작을 생성하는 방법이다. 물체의 삼차원 형상과 위치, 시작 몸 자세와 형상을 입력받아 목표 파지 자세와 그곳까지의 움직임을 만든다.
Hand3R
Hand3R는 단안 동영상에서 움직이는 손과 주변 장면을 함께 복원하는 온라인 프레임워크다. 사전 학습된 손 전문가와 사차원 장면 모델을 연결하고 지속적인 장면 기억에 손 정보를 반영한다.
GRAB 전신 파지 데이터셋
GRAB은 사람이 물체를 잡고 조작할 때의 전신 움직임을 담은 삼차원 데이터셋이다. 손뿐 아니라 몸과 얼굴, 물체의 자세를 시간에 따라 복원하고 몸과 물체 사이의 접촉을 계산한다.
Pose2Mesh
Pose2Mesh는 이차원 사람 자세에서 삼차원 자세와 메시를 복원하는 그래프 합성곱 기반 방법이다. 영상의 외형 대신 관절의 기하 정보를 입력으로 사용하고 메시 연결 구조를 활용해 꼭짓점 좌표를 예측한다.
AssemblyHands-X
AssemblyHands-X는 양손 활동에서 손과 몸의 협응을 연구하는 삼차원 벤치마크다. 마커 없는 다중 관점 영상에서 손과 상체의 자세를 맞추고, 결합된 자세 정보가 행동 인식에 미치는 영향을 비교한다.
HOLD 손 물체 복원
HOLD는 단안 상호작용 영상에서 손과 물체의 삼차원 모습을 함께 복원하는 방법이다. 물체 종류별로 미리 스캔한 형상을 전제하는 대신 손과 물체를 분리된 암시적 표현으로 구성한다.
I2L-MeshNet
I2L-MeshNet은 단일 RGB 영상에서 사람의 자세와 메시를 추정하는 방법이다. 메시 꼭짓점 좌표를 바로 회귀하는 대신 좌표별 일차원 히트맵으로 위치의 가능도를 예측한다.
MANO 손 모델
MANO는 손의 형상과 관절 움직임에 따른 표면 변형을 표현하는 저차원 삼차원 손 모델이다. 여러 사람의 고해상도 손 스캔으로 학습하며, 몸 모델 SMPL과 결합해 손과 몸의 움직임을 함께 표현할 수 있다.
HAMR 손 메시 복원
HAMR는 단일 RGB 영상으로 손의 삼차원 메시를 복원하는 방법이다. 손 형상과 상대적인 삼차원 관절 각도로 손 모델을 매개변수화하고, 투영된 관절과 주석의 차이를 학습에 활용한다.
MaskHand
MaskHand는 단일 RGB 영상의 모호한 손 자세를 확률적으로 다루는 생성형 메시 복원 방법이다. 손 자세를 이산 토큰으로 표현하고 영상과 이차원 자세 정보를 조건으로 가려진 토큰을 예측한다.
HaMeR
HaMeR는 단안 영상에서 손의 삼차원 메시를 복원하는 트랜스포머 기반 방법이다. 이차원·삼차원 손 주석을 가진 여러 데이터셋을 결합하고 큰 비전 트랜스포머를 사용한다.
InterHand2점6M
InterHand2.6M은 한 손과 서로 상호작용하는 두 손의 자세를 담은 데이터셋이다. 약 260만 개의 주석 프레임과 단일 RGB 영상에서 삼차원 손 자세를 추정하는 기준 모델 InterNet을 함께 제시했다.
WildHands
WildHands는 일상적인 일인칭 영상에서 삼차원 손 자세를 추정하는 시스템이다. 손 영역의 잘라내기, 카메라 정보, 보조 감독과 학습 자료 규모가 추정에 미치는 영향을 조사한 연구를 바탕으로 한다.
AssemblyHands
AssemblyHands는 조립과 분해 장면의 손 자세를 연구하는 데이터셋이다. 동기화된 일인칭·외부 시점 영상에서 다중 관점 정보를 결합해 손 자세 주석을 만들며, 가림이 많은 작업 장면을 다룬다.
H2O 손 물체 상호작용
H2O는 일인칭 시점에서 두 손과 물체의 상호작용을 인식하기 위한 데이터셋이다. 여러 관점의 RGB-D 영상과 양손 자세, 물체 자세, 상호작용 종류를 함께 제공한다.
ARCTIC 손 물체 데이터셋
ARCTIC은 두 손이 관절을 가진 물체를 조작하는 동작을 기록한 데이터셋이다. 손과 물체의 삼차원 표면, 시간에 따른 접촉 정보를 제공하며 일관된 동작 복원과 상호작용장 추정을 다룬다.
FreiHAND
FreiHAND는 단일 RGB 영상에서 손의 삼차원 자세와 형상을 추정하기 위한 다중 관점 데이터셋이다. 사람이 검토 과정에 참여하는 반자동 주석으로 실제 손 영상의 자세와 형상을 마련했다.
DexYCB
DexYCB는 손이 물체를 쥐는 상황의 손·물체 추정을 평가하는 데이터셋이다. 이차원 검출, 물체의 육차원 자세와 손의 삼차원 자세를 서로 관련된 과제로 다룬다.
HO-3D
HO-3D는 물체를 조작하는 손과 물체의 삼차원 자세를 함께 주석으로 제공하는 데이터셋이다. RGB-D 시퀀스 전체에서 자세를 공동 최적화하는 HOnnotate 방법으로 구축됐다.
기억 증강 과제별 현저성 예측
기억 증강 과제별 현저성 예측은 조건부 생성적 적대 신경망에 기억 구조를 결합하는 방법이다. 영상 내용뿐 아니라 관찰자의 행동 패턴과 과제에 따른 요인을 현저성 모델에 반영하려 한다.
SalGAN
SalGAN은 현저성 지도 예측에 생성적 적대 학습을 활용하는 합성곱 신경망이다. 이진 교차 엔트로피로 학습한 예측에 생성 지도와 정답 지도를 구별하는 판별기를 결합한다.
SaltiNet
SaltiNet은 360도 영상의 주시 순서를 현저성 볼륨에서 생성하는 모델이다. 시간 정보를 포함한 현저성 표현을 학습하고 그 위에서 표본 추출해 시선 경로를 만든다.
Context-SalNET
Context-SalNET은 보행 상황의 시각적 주의를 긴급성과 안전 선호 같은 문맥 조건으로 예측하는 모델이다. 희소한 정답 지도에 대응하는 손실과 제한된 학습 자료의 불확실성을 함께 다룬다.
UIGaze
UIGaze는 시각 언어 모델이 사용자 인터페이스에서 사람의 주의 위치를 얼마나 닮게 예측하는지 평가한 연구다. 모델이 생성한 좌표를 현저성 지도로 바꾸어 실제 시선 추적 자료와 비교한다.
Beyond Average 시선 개인화
Beyond Average는 일반적인 주시 경로 모델에 관찰자별 특성을 반영하는 개인화 방법이다. 관찰자 인코더와 관찰자 중심 특징 통합, 적응적인 주시 우선순위 조절을 결합한다.
UEyes
UEyes는 웹페이지, 데스크톱 화면, 모바일 화면과 포스터를 보는 사람의 시선을 기록한 데이터셋이다. 인터페이스 종류에 따라 시각 요소의 배치와 주의 양상이 어떻게 달라지는지 연구한다.
Claude Code의 데스크톱과 터미널 실행
Claude Code의 기반 엔진과 실행 화면을 구분하고, 데스크톱 일반 채팅, Code 탭, 터미널 CLI의 차이를 설명한다.
OAT 시선 경로 예측
OAT는 방해 물체가 있는 장면에서 목표를 찾는 시선을 물체 단위의 주시 순서로 예측하는 트랜스포머다. 각 물체의 위치·외형과 목표 정보를 인코딩해 다음에 볼 물체를 예측한다.
ScanVLA
ScanVLA는 자연어로 설명된 목표 물체를 찾는 시선 경로를 예측하는 시각 언어 모델이다. 이전 주시 위치를 직접 활용하는 디코더와 고정한 분할 LoRA로 세밀한 위치 정보를 보완한다.
IOR-ROI LSTM
IOR-ROI LSTM은 이미 본 영역의 정보와 다음 관심 영역 선택을 두 LSTM으로 나누어 주시 경로를 생성하는 모델이다. 합성곱 특징과 시각 작업 기억을 모사하는 재귀 처리를 결합한다.
PathGAN
PathGAN은 생성적 적대 학습으로 사진에 대한 주시 경로를 만드는 모델이다. 영상 특징과 순환 계층을 사용하는 생성기·판별기로 다양한 시선 순서를 학습한다.
시각 질의응답의 주시 경로 예측
시각 질의응답의 주시 경로 예측 연구는 질문을 수행하는 동안의 주시 위치와 지속 시간 및 순서를 모델링한다. 과제 안내 지도와 심층 강화 학습으로 질문별 시선 패턴을 예측하는 방법을 제안했다.
GazeXplain
GazeXplain은 시선 경로와 그 주시에 대한 자연어 설명을 함께 예측하는 모델이다. 시선 위치·시간의 예측에 언어 설명을 연결하고 두 출력의 의미적 일관성을 학습한다.
SALYPATH
SALYPATH는 현저성 모델에서 얻은 특징으로 사진의 주시 순서를 예측하는 딥러닝 방법이다. 어느 위치가 주의를 끄는지에 관한 표현을 활용해 시선 경로를 만드는 접근이다.
UMSS
UMSS는 정보 시각화 자료의 현저성과 주시 순서를 함께 예측하는 모델이다. 제목, 라벨과 데이터 같은 요소별로 관찰 시간에 따른 현저성 지도를 구하고 그 지도에서 시선 경로를 확률적으로 만든다.
EyeFormer
EyeFormer는 소수의 사용자 주시 경로를 바탕으로 개인화한 시선 순서를 예측하는 모델이다. 트랜스포머 정책 네트워크와 심층 강화 학습을 사용해 주시 위치와 지속 시간을 다룬다.
Gazeformer
Gazeformer는 목표 물체의 이름을 언어 모델로 표현해 시각 탐색의 주시 순서를 예측하는 트랜스포머 모델이다. 학습 때 탐색하지 않은 목표에 대한 시선을 예측하는 ZeroGaze 설정을 다룬다.
FN-AUC
FN-AUC는 현저성 예측 평가에서 음성 표본 선택을 통해 공간적 편향을 다루려는 AUC 계열 지표다. 기존 shuffled AUC에도 남는 중앙 및 주변부 편향을 검토한 연구에서 제안됐다.
현저성 예측 평가
현저성 예측 평가는 모델이 사람의 주시 위치를 얼마나 잘 설명하는지 측정하는 과정이다. 정답의 표현과 지도 전처리, 위치 편향 처리 및 평가 지표에 따라 같은 모델의 점수가 다르게 나타날 수 있다.
DINet
DINet은 서로 다른 팽창률의 합성곱을 병렬로 사용해 현저성 예측의 다중 크기 문맥을 얻는 모델이다. 픽셀별 회귀에만 의존하지 않고 확률 분포 사이의 거리를 학습 목표로 활용한다.
MSI-Net
MSI-Net은 다중 크기의 영상 특징과 전역 장면 정보를 결합하는 현저성 예측 모델이다. 영상 분류로 사전 학습한 합성곱 인코더와 여러 팽창률의 병렬 모듈을 활용한다.
EML-NET
EML-NET은 서로 다른 사전 학습 신경망의 특징을 확장 가능한 인코더에서 결합하는 현저성 예측 모델이다. 인코더와 디코더를 나누어 학습하며 다양한 시각 지식을 활용하는 구성을 제안한다.
TempSAL
TempSAL은 정지 영상을 관찰하는 동안 시간 구간별로 달라지는 현저성 지도를 예측하는 모델이다. 구간별 주의 지도를 학습하고 이를 결합해 전체 현저성 예측을 조절한다.
두 경로 기반 동적 현저성 예측
두 경로 기반 동적 현저성 예측은 공간 정보와 시간 정보를 각각 처리하고 결합하는 신경망 접근이다. 정지 영상의 외형과 동영상의 움직임을 서로 보완적인 단서로 활용한다.
DAVE 시청각 현저성
DAVE는 영상과 오디오의 특징을 이용해 동적인 현저성 지도를 예측하는 모델이다. 같은 인코더·디코더 틀의 기준선을 비교하며 소리 단서가 시선 예측에 주는 영향을 연구한다.
STAViS
STAViS는 동영상의 시각 정보와 소리 정보를 결합해 사람의 시각적 주의 분포를 예측하는 신경망이다. 소리의 발생 위치와 시각 현저성을 함께 다루어 최종 현저성 지도를 만든다.
계층적 영역 적응 현저성 예측
계층적 영역 적응 현저성 예측은 여러 추상화 수준의 중간 지도에 학습 지도를 주는 동영상 모델이다. 자료 사이의 공통 특징을 배우는 영역 적응과 개별 자료에 맞추는 특화를 구분해 연구한다.
동영상 현저성의 시간 재귀 비교
동영상 현저성의 시간 재귀 비교 연구는 정지 영상 모델에 시간 정보를 더하는 두 방법을 비교한다. 합성곱 LSTM을 추가하는 방식과 내부 합성곱 상태를 지수 이동 평균하는 단순한 방식을 다룬다.
DHF1K
DHF1K는 동영상 장면을 자유롭게 볼 때의 사람 주시를 예측하는 벤치마크다. 다양한 장면과 움직임, 물체 종류 및 배경 복잡도를 포함하는 1000개 영상 시퀀스로 구성됐다.
ViNet-S와 ViNet-A
ViNet-S와 ViNet-A는 동영상 현저성 예측의 크기와 특징 구성을 개선한 모델이다. 경량 디코더를 사용하는 변형과 시공간 행동 위치 추정 특징을 사용하는 변형을 함께 연구한다.
STSANet
STSANet은 삼차원 합성곱 특징에 시공간 자기 주의를 결합한 동영상 현저성 예측 모델이다. 서로 다른 시간의 특징 관계와 다중 수준 문맥을 함께 처리한다.
ViNet
ViNet은 동영상의 시각 정보로 현저성 지도를 예측하는 완전 합성곱 인코더·디코더 모델이다. 시청각 자료에서도 음성 입력 없이 강한 기준선을 만들며 오디오가 실제 예측에 기여하는지 검토한 연구다.
TranSalNet
TranSalNet은 합성곱 신경망과 트랜스포머를 결합해 시각 현저성을 예측하는 모델이다. 멀리 떨어진 영상 영역의 문맥을 자기 주의로 다루어 주시 분포 예측을 보완하려 한다.
현저성 예측 구조의 단순화
현저성 예측 구조의 단순화 연구는 입력 특징, 다중 수준 통합, 출력 모듈과 손실 함수를 나눠 분석하는 접근이다. 간결한 인코더·디코더인 SimpleNet과 혼합 가우스 분포를 예측하는 MDNSal을 제안했다.
TASED-Net
TASED-Net은 여러 동영상 프레임의 시공간 특징을 모아 한 프레임의 현저성 지도를 만드는 삼차원 완전 합성곱 모델이다. 공간 해상도를 복원하는 과정에서 시간 정보를 함께 집계한다.
THTD-Net
THTD-Net은 시공간 트랜스포머가 추출한 특징의 시간 차원을 디코더에서 점진적으로 줄이는 동영상 현저성 예측 모델이다. 여러 디코더를 두지 않고 시간 특징을 집계하는 구성을 제안한다.
UniAR
UniAR은 영상에 대한 사람의 주의와 주관적 반응을 함께 예측하는 멀티모달 모델이다. 자연 사진, 웹페이지와 그래픽 디자인을 대상으로 열지도, 관찰 순서와 평가 점수 등 서로 다른 출력을 다룬다.
UniST
UniST는 동영상의 시선 분포 예측과 현저한 물체 검출을 연결하는 통합 트랜스포머 프레임워크다. 여러 해상도의 시공간 정보를 결합하고 과제별 디코더로 서로 다른 출력을 만든다.
Saliency Attentive Model
Saliency Attentive Model은 합성곱 LSTM과 주의 메커니즘으로 현저성 지도를 반복해서 정제하는 모델이다. 사람의 시선이 영상 중앙에 모이는 경향을 다루기 위해 가우스 함수 기반 사전 지도도 학습한다.
UNISAL
UNISAL은 정지 영상과 동영상의 현저성 예측을 함께 학습하는 모델이다. 자료 종류와 데이터셋 사이의 영역 차이를 다루는 구성으로 하나의 매개변수 집합을 여러 현저성 과제에 활용한다.
AiR 주의 추론 프레임워크
AiR은 과제의 답뿐 아니라 답에 도달하는 추론 과정에서 주의가 어떻게 이동하는지 분석하는 프레임워크다. 사람의 시선과 답의 정오 자료를 수집하고 추론 단계에 따른 주의 학습을 다룬다.
다중 수준 특징 기반 현저성 예측
다중 수준 특징 기반 현저성 예측은 합성곱 신경망의 마지막 계층만 쓰지 않고 여러 깊이의 특징을 결합하는 접근이다. 저수준과 고수준 특징의 가중 결합 및 사전 정보 학습을 포함한 구조가 제안됐다.
COCO-Search18
COCO-Search18은 사진에서 목표 물체를 찾는 사람의 주시를 기록한 시각 탐색 데이터셋이다. 자유 관찰과 달리 찾을 물체 종류가 주어진 상황의 목표 지향적 시선 행동을 다룬다.
목표 부재 시선 탐색 모델
목표 부재 시선 탐색 모델은 찾으려는 물체가 사진 안에 없을 때의 주시 순서와 탐색 종료를 예측하는 접근이다. 중심와 특징 지도라는 상태 표현을 모방 학습과 역강화 학습에 활용한다.
Human Attention Transformer
Human Attention Transformer는 목표를 찾는 시각 탐색과 과제 없는 자유 관찰의 주시 순서를 하나의 모델로 예측하는 구조다. 트랜스포머와 단순화한 중심와 표현을 결합해 각 주시의 조밀한 열지도를 출력한다.
SALICON
SALICON은 마우스와 다중 해상도 표시를 이용해 영상 탐색 중의 시각적 주의 정보를 수집하는 연구와 데이터셋이다. 전용 시선 추적 장치 없이 큰 규모의 주의 자료를 모으는 접근을 제시했다.
Deep Gaze I
Deep Gaze I는 물체 인식용으로 사전 학습한 신경망의 특징을 시선의 주시 위치 예측에 활용하는 초기 딥러닝 현저성 모델이다. 시선 자료만으로 큰 특징 추출기를 처음부터 학습하는 부담을 줄이는 전이 접근이다.
DeepGaze 3점5 VL
DeepGaze 3점5 VL은 시선의 주시 순서를 텍스트 토큰의 자기회귀 예측으로 표현하는 모델이다. 좌표를 어휘에 대응시켜 사전 학습한 시각 언어 모델을 활용하며 과제 지시나 관찰자 조건을 프롬프트로 제공한다.
DeepGaze IIE
DeepGaze IIE는 여러 영상 특징 추출기를 결합해 시선의 공간 분포를 예측하는 현저성 모델이다. 다른 데이터셋에서도 예측 확률이 지나치게 확신하지 않도록 신뢰도 보정을 함께 다룬다.
DeepGaze III
DeepGaze III는 정지 영상을 자유롭게 볼 때 이어지는 주시 위치를 예측하는 모델이다. 영상 내용과 이전 주시 이력을 결합해 다음에 어느 위치를 볼지 확률적으로 표현한다.
자기회귀 확산 기반 장기 시선 생성
자기회귀 확산 기반 장기 시선 생성은 동영상에 대한 연속 시선 궤적을 긴 구간으로 이어 만드는 접근이다. 현저성을 반영한 시각 잠재 표현을 조건으로 좌표와 세밀한 시각 정보를 생성한다.
DiffGaze
DiffGaze는 360도 영상을 보는 사람의 연속적인 시선 시퀀스를 생성하는 확산 모델이다. 영상 특징을 조건으로 시간과 공간의 의존성을 모델링해 다양한 눈 움직임을 생성한다.
GazeD
GazeD는 RGB 영상 한 장에서 삼차원 시선과 사람의 자세를 함께 추정하는 확산 모델이다. 영상의 이차원 문맥을 조건으로 여러 가능한 시선·자세 가설을 생성한다.
ST-DiffEye
ST-DiffEye는 연속적인 눈 움직임 궤적과 이산적인 주시 순서를 함께 학습하는 확산 기반 시선 생성 방법이다. 관찰자와 시행마다 다른 시선을 하나의 정답으로만 다루지 않고 확률적인 과정으로 모델링한다.
GOO 시선 물체 데이터셋
GOO는 소매점 환경에서 사람이 바라보는 물체를 예측하기 위한 데이터셋이다. 시선이 닿는 픽셀만 찾는 과제에서 나아가 대상 물체의 경계 상자를 예측하는 과제를 다룬다.
확산 보정 기반 반지도 시선 따라가기
확산 보정 기반 반지도 시선 따라가기는 시각 질의응답 모델의 열지도를 확산 모델로 다듬어 학습 주석으로 사용하는 방법이다. 제한된 사람 주석과 라벨 없는 영상의 정보를 함께 활용한다.
ChildPlay-Hand
ChildPlay-Hand는 어린이와 성인의 자연스러운 영상에서 손과 물체의 상호작용을 연구하는 데이터셋이다. 손별 조작 주석과 사람·물체 경계 상자, 기존 ChildPlay의 시선 라벨을 함께 활용한다.
GFIE
GFIE는 실내 환경에서 이차원과 삼차원 시선 따라가기를 평가하는 데이터셋이다. 깊이 카메라와 레이저 거리 측정기를 이용해 시선 대상의 위치 주석을 반자동으로 수집하는 방식을 제시한다.
VSGaze
VSGaze는 시선 따라가기와 사회적 시선 예측 자료의 주석 형식을 통합한 데이터셋이다. 여러 사람의 시선 대상과 사회적 시선 라벨을 시간 정보를 이용해 함께 예측하는 연구에 쓰인다.
Sharingan 시선 따라가기
Sharingan은 사진 속 사람이 바라보는 이차원 위치를 예측하는 트랜스포머 구조다. 사람별 열지도를 출력하는 방식과 여러 사람의 시선 좌표를 한 번에 회귀하는 방식을 비교한다.
ChildPlay
ChildPlay는 어린이가 놀거나 성인과 상호작용하는 영상의 시선 행동을 연구하는 데이터셋이다. 성인 위주 자료에서 학습한 모델이 어린이의 시선도 잘 추정하는지 살피는 데 초점을 둔다.
GazeFollow
GazeFollow는 사진 속 사람이 바라보는 위치를 추정하는 시선 따라가기 과제의 벤치마크 데이터셋이다. 사진을 보는 관찰자의 시선을 예측하는 일반적인 시각적 현저성 과제와 구별된다.
PaGE 시선 대상 추정
PaGE는 장면 특징과 머리 특징의 상호작용을 모델링하는 시선 대상 추정 방법이다. 큰 교사 모델로부터 더 가벼운 학생 모델을 학습시키는 지식 증류를 결합한다.
물체 관계 기반 시선 대상 검출
물체 관계 기반 시선 대상 검출은 사람이 바라보는 위치뿐 아니라 그 위치의 물체 종류와 영역을 함께 추정하는 접근이다. 장면의 머리와 물체를 검출하고 사람과 대상 사이의 관계를 연결한다.
VideoAttentionTarget
VideoAttentionTarget은 영상 속 사람이 바라보는 대상을 주석으로 담은 데이터셋이다. 시간에 따라 시선 대상이 바뀌거나 화면 밖으로 나가는 상황의 주의 대상 추정을 연구하는 데 쓰인다.
Gaze-LLE
Gaze-LLE는 장면에서 사람이 바라보는 대상을 추정하는 트랜스포머 방식이다. 고정한 DINOv2 인코더로 장면 특징을 추출하고 사람별 위치 프롬프트를 이용해 시선 대상을 예측한다.