문서 둘러보기
DAIN
DAIN은 깊이 정보를 이용해 가림 관계를 고려하는 영상 프레임 보간 모델이다. 깊이 인지 광류 투영으로 가까운 표면의 정보를 우선하는 중간 흐름을 만들고 영상 및 문맥 특징을 결합한다.
Super SloMo
Super SloMo는 두 입력 프레임의 양방향 광류와 가시성 정보를 이용해 여러 중간 프레임을 생성하는 보간 모델이다. 중간 흐름을 근사한 뒤 정제하고 가려진 화소의 기여를 조절해 영상을 결합한다.
FILM 프레임 보간
FILM은 두 이미지 사이의 움직임이 큰 조건에서 중간 프레임들을 생성하는 보간 모델이다. 여러 스케일에서 가중치를 공유하는 특징 추출기와 통합 네트워크를 사용하고 특징 상관을 비교하는 손실로 학습한다.
RIFE
RIFE는 두 영상 프레임 사이 시점의 광류를 직접 추정해 중간 프레임을 생성하는 보간 방법이다. IFNet과 특권 증류 학습을 사용하며 시간 인코딩으로 보간 시점을 지정할 수 있다.
BasicVSR 플러스
BasicVSR 플러스는 원래 BasicVSR++로 표기하는 영상 복원 모델이다. 이차 격자 전파와 광류 안내 변형 정렬을 도입해 시간에 걸친 정보 전달 및 프레임 대응을 개선한다.
RVRT
RVRT는 짧은 영상 클립 안의 프레임들을 함께 처리하고 클립 사이에서는 순환적으로 정보를 전달하는 영상 복원 트랜스포머다. 안내된 변형 주의로 클립 사이 특징을 정렬하고 결합한다.
BasicVSR
BasicVSR는 영상 초해상도의 구성을 정보 전파, 정렬, 집계와 업샘플링의 네 기능으로 살펴 만든 기준선 모델이다. 추가 시간 정보를 활용하는 데 필요한 요소를 분석하고 간결한 복원 경로로 결합한다.
EDVR
EDVR는 여러 영상 프레임의 특징을 변형 합성곱으로 정렬하고 시간 및 공간 주의로 결합하는 영상 복원 모델이다. 피라미드와 계단식 정렬을 통해 큰 움직임을 다루며 초해상도 및 흐림 제거에 활용한다.
HINet
HINet은 중간 특징 채널의 절반에 인스턴스 정규화를 적용하는 블록을 사용한 이미지 복원 모델이다. 정규화하지 않은 특징도 함께 전달하며 두 하위 네트워크로 복원을 수행한다.
MPRNet
MPRNet은 손상 이미지를 여러 단계에서 점진적으로 복원하고 단계 사이에 특징을 전달하는 모델이다. 문맥 정보를 학습하는 인코더·디코더와 고해상도 정보를 유지하는 분기를 결합한다.
Palette 이미지 변환
Palette는 조건부 확산 모델로 여러 이미지 변환 작업을 다루는 통합 틀이다. 컬러화, 결손 채움, 잘린 화면의 확장과 JPEG 복원을 같은 접근에서 연구한다.
RePaint
RePaint는 사전 학습한 무조건 확산 모델의 역확산 과정에 보이는 이미지 영역을 반영해 결손을 채우는 방법이다. 원래 네트워크 자체를 인페인팅 조건부 모델로 다시 바꾸지 않고 표본화 과정을 조정한다.
EdgeConnect
EdgeConnect는 이미지의 결손 영역에서 경계를 먼저 생성하고 이를 조건으로 색과 질감을 채우는 두 단계 인페인팅 모델이다. 경계 생성기와 이미지 완성 네트워크를 적대적 학습으로 구성한다.
StructureFlow
StructureFlow는 이미지 인페인팅을 구조 복원과 질감 생성으로 나눈 모델이다. 경계를 보존한 평활 영상으로 구조를 학습하고 복원한 구조를 바탕으로 외형 흐름을 사용해 세부를 생성한다.
게이트 합성곱 인페인팅
게이트 합성곱 인페인팅은 각 위치와 채널에서 사용할 특징을 학습된 게이트로 선택하는 이미지 채움 방법이다. 자유로운 모양의 마스크와 안내 입력을 다루며 패치 기반 적대적 손실을 함께 사용한다.
부분 합성곱 인페인팅
부분 합성곱 인페인팅은 결손 영역의 임시 값을 유효한 화소처럼 합성곱에 넣지 않도록 마스크와 재정규화를 사용하는 이미지 채움 방법이다. 순전파 중 마스크를 갱신해 다음 층에 전달한다.
LaMa 이미지 복원
LaMa는 이미지의 큰 결손 영역을 채우기 위해 푸리에 합성곱과 넓은 수용 범위의 지각 손실을 사용하는 인페인팅 모델이다. 큰 마스크로 학습해 멀리 떨어진 구조와 반복 패턴의 단서를 활용한다.
MAT 이미지 인페인팅
MAT는 큰 결손 영역을 채우기 위해 유효한 입력 토큰을 마스크로 구분하는 트랜스포머 기반 모델이다. 동적으로 변하는 마스크를 이용한 비국소 정보 집계와 합성곱을 결합해 고해상도 이미지를 처리한다.
Neighbor2Neighbor
Neighbor2Neighbor는 하나의 잡음 이미지에서 이웃 화소를 표본화해 학습 쌍을 만드는 자기지도 잡음 제거 방법이다. 두 부분 이미지의 대응 위치가 가까운 원본 화소가 되도록 구성하고 추가 정규화로 학습한다.
Self2Self
Self2Self는 처리할 잡음 이미지 한 장만으로 학습하고 여러 예측을 평균해 복원하는 자기지도 잡음 제거 방법이다. 베르누이 표본화한 이미지 쌍과 드롭아웃을 학습 및 예측에 활용한다.
Deep Image Prior
Deep Image Prior는 대규모 이미지 사전 학습 없이 신경망 구조 자체의 편향을 이미지 복원에 활용하는 방법이다. 무작위 초기화한 생성망을 현재 손상 관측에 맞게 최적화하며 잡음 제거와 초해상도 및 결손 복원을 다룬다.
Noise2Self
Noise2Self는 잡음이 있는 고차원 관측만으로 잡음 제거기의 성능을 추정하고 매개변수를 조정하는 자기지도 틀이다. 예측 대상 부분의 입력에 의존하지 않는 J-불변 함수와 잡음의 독립성을 활용한다.
Noise2Void
Noise2Void는 깨끗한 정답이나 서로 짝지은 잡음 영상 없이 단일 잡음 이미지들에서 잡음 제거를 학습하는 방법이다. 예측할 화소 자체를 가리고 주변 정보를 이용하는 블라인드 스폿 학습을 사용한다.
Noise2Noise
Noise2Noise는 깨끗한 정답 이미지 대신 같은 신호를 독립적으로 손상시킨 관측 쌍으로 복원 모델을 학습하는 방법이다. 손상과 손실 함수의 통계 조건이 맞으면 잡음이 있는 목표에서도 유용한 복원을 학습할 수 있다.
DnCNN
DnCNN은 잔차 학습과 배치 정규화를 활용하는 이미지 잡음 제거 합성곱 신경망이다. 손상된 입력에서 제거할 잔차를 학습하며 알려지지 않은 잡음 세기의 가우시안 잡음 제거도 다룬다.
FFDNet
FFDNet은 잡음 세기 맵을 추가 입력으로 받아 제거 강도를 조절하는 이미지 잡음 제거 모델이다. 위치마다 다른 잡음 조건을 표현할 수 있고 다운샘플링한 부분 이미지에서 연산하는 구성을 사용한다.
EDSR
EDSR는 이미지 초해상도에 맞게 잔차 신경망의 구성을 단순화하고 모델 용량을 확장한 복원 모델이다. 기존 잔차 구조의 일부 불필요한 요소를 줄이면서 큰 모델을 안정적으로 학습하는 설계를 사용한다.
RCAN
RCAN은 잔차 안에 잔차를 두는 깊은 구조와 채널 주의를 결합한 이미지 초해상도 모델이다. 여러 건너뛰기 연결로 저주파 정보를 전달하고 특징 채널의 관계에 따라 가중치를 조정한다.
Real-ESRGAN
Real-ESRGAN은 복잡한 실제 저해상도 이미지의 손상을 합성 과정으로 모사해 학습하는 블라인드 초해상도 방법이다. 고차 열화 모형과 스펙트럼 정규화를 적용한 U-Net 판별기를 사용한다.
SwinIR
SwinIR는 Swin Transformer를 기반으로 저품질 이미지를 복원하는 모델이다. 얕은 특징 추출, 잔차 Swin 블록을 통한 깊은 특징 추출과 최종 이미지 재구성의 세 부분으로 구성된다.
NAFNet
NAFNet은 흔히 쓰는 비선형 활성화 함수를 제거하거나 곱셈으로 바꾸어 구성한 이미지 복원 신경망이다. 복잡한 구조를 줄이면서 흐림 제거와 잡음 제거 같은 작업의 정확도 및 계산량을 다룬다.
Restormer
Restormer는 고해상도 이미지 복원을 위해 주의 연산과 순전파 블록을 효율적으로 설계한 트랜스포머 모델이다. 긴 거리의 영상 관계를 활용하면서 잡음 제거와 흐림 제거 등 다양한 복원 작업을 다룬다.
DOT 조밀 추적
DOT는 일부 점의 긴 궤적에서 시작해 두 프레임 사이의 조밀한 대응과 가시성을 추정하는 방법이다. 희소 궤적을 보간한 초기 결과를 가림을 다루는 학습형 광류 추정기로 정제한다.
PIPs 점 추적
PIPs는 영상에서 지정한 점의 여러 프레임에 걸친 궤적과 가시성을 함께 추정하는 모델이다. 점별로 시간 문맥을 활용하고 위치 및 외형 특징을 반복 갱신해 가림이 있는 구간의 추적을 다룬다.
BootsTAP
BootsTAP는 라벨 없는 실제 영상을 학생·교사 자기지도 학습에 활용해 점 추적 모델을 개선하는 방법이다. 합성 데이터에 집중된 점 추적 학습의 범위를 실제 장면으로 넓히는 데 초점을 둔다.
TAP-Vid
TAP-Vid는 영상의 임의 표면점이 시간에 따라 어디로 이동하는지 평가하는 점 추적 벤치마크다. 사람이 주석한 실제 영상과 정확한 점 궤적을 얻을 수 있는 합성 영상을 함께 포함한다.
CoTracker
CoTracker는 여러 2차원 점을 서로 독립적으로만 처리하지 않고 점 사이의 의존 관계를 활용해 함께 추적하는 트랜스포머 모델이다. 짧은 시간 창을 연결해 긴 영상의 궤적을 유지한다.
TAPIR
TAPIR는 영상에서 지정한 표면 위 점의 궤적을 추정하는 모델이다. 프레임마다 대응 후보를 찾는 초기화와 국소 상관 정보를 이용해 궤적 및 질의 특징을 갱신하는 시간 정제의 두 단계로 구성된다.
GOTURN
GOTURN은 사전 학습한 순전파 회귀 신경망으로 새 대상의 위치를 추정하는 객체 추적 방법이다. 추적 실행 중 별도의 온라인 학습을 요구하지 않고 운동과 외형의 일반적 관계를 활용한다.
MDNet
MDNet은 여러 학습 영상에서 공유 표현과 영상별 분류 분기를 학습하는 객체 추적 모델이다. 새로운 영상에서는 공유 층에 새 이진 분류 층을 결합하고 온라인으로 갱신해 지정한 대상을 구분한다.
ECO 객체 추적
ECO는 판별 상관 필터 기반 추적에서 모델 복잡도와 과적합을 줄이는 방법이다. 분해한 합성곱 연산자, 압축된 학습 표본 분포와 보수적인 갱신 전략을 함께 사용한다.
KCF 객체 추적
KCF는 순환 이동한 학습 표본의 구조를 활용해 커널 회귀를 효율적으로 계산하는 객체 추적 방법이다. 순환 행렬을 이산 푸리에 변환으로 대각화해 저장과 계산의 중복을 줄인다.
ATOM 객체 추적
ATOM은 대상을 구분하는 분류와 상자의 정확한 상태 추정을 나누어 구성한 객체 추적 모델이다. 대상과 후보 상자의 겹침을 예측하는 부분은 사전 학습하고, 대상별 분류는 추적 중 온라인으로 학습한다.
DCFNet
DCFNet은 샴 신경망 안에 판별 상관 필터 층을 넣어 특징 학습과 상관 기반 추적을 함께 수행하는 모델이다. 주파수 영역의 계산을 활용하면서 추적 목적에 맞는 합성곱 특징을 학습한다.
DiMP
DiMP는 대상과 배경의 외형 정보를 이용해 대상별 판별 모델을 예측하고 갱신하는 객체 추적 방법이다. 판별 손실에서 유도한 최적화 과정을 추적 구조에 포함해 적은 반복으로 대상 모델을 학습한다.
PrDiMP
PrDiMP는 영상에서 대상 상태를 확률 밀도로 표현하는 회귀 방식을 추적에 적용한 모델이다. 점수 하나의 최대 위치만 다루기보다 상태의 불확실성과 정답 주석의 모호함을 학습에 반영한다.
MixFormer
MixFormer는 특징 추출과 대상 정보 결합을 혼합 주의 모듈에서 함께 수행하는 객체 추적 모델이다. 템플릿과 검색 영역의 관계를 반복적으로 처리한 뒤 위치 예측부에서 대상 상자를 추정한다.
SimTrack
SimTrack은 이미지 입력을 시퀀스로 묶어 한 트랜스포머 백본에서 특징 추출과 상호작용을 함께 수행하는 객체 추적 모델이다. 별도의 복잡한 관계 모듈을 줄이고 백본 자체의 정보 교환을 활용한다.
OSTrack
OSTrack은 대상 템플릿과 검색 영역을 한 흐름에서 처리해 특징 학습과 관계 모델링을 함께 수행하는 객체 추적 모델이다. 두 입력 사이의 양방향 정보 교환으로 대상에 맞는 특징을 학습한다.
STARK
STARK는 인코더·디코더 트랜스포머로 대상과 검색 영역의 시공간 관계를 처리하고 추적 상자를 직접 예측하는 모델이다. 대상 위치를 찾기 위해 미리 정한 앵커나 별도의 제안 상자를 사용하지 않는 구성을 제시한다.
SiamFC
SiamFC는 완전 합성곱 샴 신경망으로 대상 예시와 검색 영역의 유사성을 계산하는 객체 추적 방법이다. 영상 데이터에서 미리 학습한 표현을 사용해 지정한 대상의 위치를 다음 프레임에서 찾는다.
SiamRPN 플러스
SiamRPN 플러스는 원래 SiamRPN++로 표기하는 샴 신경망 기반 객체 추적 모델이다. 깊은 특징 추출기를 추적에 활용하기 위한 공간 인지 샘플링과 채널별 및 층별 특징 집계를 도입한다.
MOTR
MOTR은 추적 질의를 프레임마다 전달하고 갱신해 영상의 객체 궤적을 예측하는 트랜스포머 모델이다. DETR의 집합 예측을 확장하고 기존 궤적 및 새 대상의 학습을 함께 다루는 다중 객체 추적 방법이다.
TrackFormer
TrackFormer는 프레임 사이의 다중 객체 추적을 집합 예측으로 구성한 트랜스포머 모델이다. 새 대상을 찾는 객체 질의와 기존 대상을 이어가는 추적 질의를 사용해 시간에 따른 객체 예측을 갱신한다.
FairMOT
FairMOT는 하나의 신경망에서 객체 검출과 재식별 특징 학습을 함께 수행하는 다중 객체 추적 모델이다. 한 작업이 다른 작업을 압도하는 문제를 다루며 두 목표가 모두 유용한 표현을 학습하도록 설계한다.
SORT 객체 추적
SORT는 칼만 필터의 상태 추정과 헝가리 알고리즘의 할당으로 프레임별 검출을 궤적에 연결하는 온라인 다중 객체 추적 방법이다. 단순한 추적 구성을 사용하면서 검출 품질이 결과에 미치는 영향을 강조한다.
BoT-SORT
BoT-SORT는 영상의 보행자를 추적할 때 운동, 외형과 카메라 움직임 보정을 함께 활용하는 방법이다. 검출 상자를 시간에 따라 연결하고 객체별 식별자를 유지하는 다중 객체 추적 모델이다.
DeepSORT
DeepSORT는 SORT 추적에 학습된 외형 유사도 정보를 추가해 검출 관측과 기존 궤적을 연결하는 방법이다. 보행자 재식별 데이터에서 학습한 특징을 활용해 가림과 식별자 전환을 다룬다.
ByteTrack
ByteTrack은 영상의 여러 객체를 추적할 때 점수가 낮은 검출 상자도 기존 궤적과 연결에 활용하는 방법이다. 높은 점수의 검출만 남겨 생기는 누락과 궤적 단절을 줄이려는 접근이다.
OC-SORT
OC-SORT는 가림 동안 누적되는 운동 추정 오류를 실제 검출 관측을 중심으로 보정하는 다중 객체 추적 방법이다. 관측으로 만든 가상 궤적을 이용해 칼만 필터 기반 추적의 상태를 조정한다.
Background Matting V2
Background Matting V2는 대상이 없는 배경 사진을 추가로 사용해 전경과 알파 매트를 추정하는 방법이다. 낮은 해상도의 기본 결과를 만들고 필요한 고해상도 패치만 정제하는 두 네트워크 구성을 사용한다.
FBA 매팅
FBA 매팅은 이미지의 알파뿐 아니라 전경과 배경의 색도 함께 추정하는 매팅 방법이다. 가린 부분의 덮임 정도와 색을 공동으로 예측해 새로운 배경에 합성하는 데 필요한 정보를 다룬다.
RVM 영상 매팅
RVM은 이전 시점의 정보를 순환 구조로 활용해 인물 영상의 알파 매트를 추정하는 모델이다. 프레임을 독립 이미지로만 처리하는 방식과 달리 시간 정보를 이용해 매팅 품질과 일관성을 높이는 데 초점을 둔다.
MODNet
MODNet은 한 장의 RGB 인물 이미지에서 전경의 알파 매트를 추정하는 모델이다. 트라이맵을 추가 입력으로 요구하지 않으며 여러 하위 목표를 함께 최적화하는 분해 구성으로 인물 매팅을 수행한다.
Cutie 영상 객체 분할
Cutie는 화소 특징과 객체 수준의 메모리 표현을 함께 사용해 영상의 대상 영역을 추정하는 모델이다. 객체 질의와 고해상도 화소 특징을 반복적으로 결합해 비슷한 방해 물체가 있는 장면의 분할을 다룬다.
DEVA 영상 분할
DEVA는 작업별 이미지 분할과 공통 시간 전파를 분리해 영상 영역을 연결하는 방법이다. 여러 프레임의 분할 가설을 양방향으로 전파하고 결합해 시간적으로 이어지는 결과를 만든다.
AOT 영상 객체 분할
AOT는 여러 대상의 식별 정보를 공통 임베딩 공간에서 처리해 영상의 객체 영역을 추정하는 모델이다. 장단기 트랜스포머로 과거 프레임과 현재 프레임 사이의 대응 및 정보 전파를 계층적으로 수행한다.
DeAOT
DeAOT는 영상 객체 분할의 계층적 정보 전파에서 일반 시각 특징과 대상별 식별 특징을 분리하는 모델이다. 두 종류의 표현을 별도 분기에서 처리하고 게이트 전파 모듈로 계산 부담을 줄인다.
STCN
STCN은 과거 프레임의 특징과 현재 프레임의 대응 관계를 이용해 영상 속 대상 물체의 영역을 추정하는 모델이다. 객체마다 대응을 다시 계산하는 부담을 줄이고 메모리 특징을 더 폭넓게 활용하는 유사도 구성을 사용한다.
XMem
XMem은 긴 영상에서 대상 물체를 분할하기 위해 성격이 다른 여러 특징 메모리를 결합한 모델이다. 빠르게 갱신하는 감각 메모리, 세밀한 작업 메모리와 압축된 장기 메모리로 시간에 따른 정보를 관리한다.
TemporalMaxer
TemporalMaxer는 추출된 영상 클립 특징에 국소 최대 풀링을 적용해 시간적 동작 위치를 추정하는 모델이다. 복잡한 장기 시간 관계 모듈 대신 이미 학습된 클립 특징의 정보를 간단하게 모으는 접근이다.
ActionFormer
ActionFormer는 영상에서 동작의 종류와 시간 경계를 함께 예측하는 트랜스포머 기반 모델이다. 다중 스케일 특징과 국소 자기 주의를 결합하고 각 시간 위치에서 분류와 경계 추정을 수행한다.
BMN 동작 구간 제안
BMN은 영상의 시작·종료 경계 쌍으로 시간 구간을 표현하고 많은 후보의 신뢰도를 맵으로 평가하는 모델이다. 경계 위치와 구간의 점수를 함께 학습해 동작 구간을 제안한다.
BSN 동작 구간 제안
BSN은 긴 영상에서 동작이 있을 법한 시간 구간을 제안하는 모델이다. 시작과 종료 경계의 후보를 찾고 이를 조합한 구간의 특징으로 신뢰도를 평가한다.
TRN 동작 인식
TRN은 영상 프레임 사이의 시간 관계를 여러 시간 규모에서 학습하는 모듈이다. 희소하게 고른 프레임의 관계를 활용해 물체와 사람의 변화 순서가 중요한 동작을 분류하는 데 사용한다.
TSN 동작 인식
TSN은 영상을 시간 구간으로 나누고 각 구간에서 일부 관측을 골라 영상 단위 동작을 학습하는 방법이다. 적은 표본으로 긴 시간 범위의 단서를 활용하는 희소 시간 샘플링과 영상 수준 감독을 결합한다.
TSM 시간 이동 모듈
TSM은 영상 특징의 일부 채널을 시간 방향으로 이동시켜 인접 프레임의 정보가 섞이도록 하는 모듈이다. 2차원 합성곱망에 시간 모델링을 추가하면서 별도의 학습 가중치와 산술 연산 증가를 억제하는 접근이다.
비국소 신경망
비국소 신경망은 멀리 떨어진 위치 사이의 관계를 처리하는 비국소 연산을 포함한 신경망이다. 한 위치의 응답을 여러 위치의 특징에 가중치를 적용해 모은 값으로 계산하며 영상과 이미지 인식에 활용한다.
R2plus1D
R2plus1D는 영상의 3차원 합성곱을 공간 합성곱과 시간 합성곱으로 나누어 구성하는 동작 인식 모델이다. 원래 표기 R(2+1)D의 2와 1은 두 공간축과 한 시간축을 가리킨다.
I3D
I3D는 이미지 분류용 2차원 합성곱망의 필터와 풀링을 시간축까지 확장해 영상 동작을 인식하는 모델이다. 이미지에서 학습한 설계와 매개변수를 활용하면서 시공간 특징을 학습하는 접근이다.
MaskFeat
MaskFeat는 입력의 일부를 가리고 그 영역의 특징을 예측하도록 시각 모델을 사전 학습하는 자기지도 방법이다. 화소 자체가 아닌 특징을 복원 목표로 삼으며, 방향성 기울기 히스토그램을 활용한 구성이 대표적이다.
OmniMAE
OmniMAE는 이미지와 영상을 한 비전 트랜스포머로 함께 사전 학습하는 방법이다. 두 입력 모두에서 많은 패치를 가리고 복원하도록 학습해 이미지 및 영상 인식에 활용할 공통 시각 표현을 만든다.
Video Swin Transformer
Video Swin Transformer는 영상의 시공간 토큰을 작은 창으로 나누어 자기 주의를 적용하는 영상 인식 모델이다. 인접 블록에서 창의 위치를 이동해 서로 다른 창 사이의 정보가 연결되도록 한다.
VideoMAE V2
VideoMAE V2는 인코더뿐 아니라 디코더가 처리하는 토큰도 일부 선택하는 이중 마스킹으로 영상 사전 학습의 계산 부담을 줄이는 방법이다. 모델과 데이터의 규모 확대 및 단계적 학습을 함께 다룬다.
MViT
MViT는 해상도가 다른 여러 단계의 특징을 만드는 다중 스케일 비전 트랜스포머다. 초기에는 높은 공간 해상도와 적은 채널로 처리하고 깊은 단계에서는 공간 해상도를 줄이면서 채널 용량을 늘린다.
ViViT
ViViT는 영상에서 시공간 토큰을 만들고 트랜스포머로 처리해 동작을 분류하는 모델 계열이다. 긴 토큰 시퀀스의 부담을 줄이기 위해 공간과 시간을 분리해 처리하는 여러 구성을 제시한다.
TimeSformer
TimeSformer는 영상 프레임을 패치로 나누고 공간 및 시간 자기 주의로 영상의 동작을 분류하는 트랜스포머 모델이다. 시간 관계와 공간 관계를 블록 안에서 따로 처리하는 분리 주의 구성이 특징이다.
VideoMAE
VideoMAE는 영상의 많은 부분을 가리고 남은 관측에서 복원하도록 학습하는 자기지도 사전 학습 방법이다. 시간에 걸쳐 이어지는 튜브 마스킹으로 영상의 반복 정보를 활용한 쉬운 복원을 줄이고 표현을 학습한다.
SlowFast
SlowFast는 서로 다른 시간 해상도로 영상을 처리하는 두 경로를 결합한 영상 인식 신경망이다. 느린 경로는 공간적 의미를, 빠른 경로는 촘촘한 시간 변화의 단서를 처리하도록 구성한다.
X3D
X3D는 작은 이미지 분류 신경망을 시간, 공간, 채널과 깊이 방향으로 점진적으로 확장해 만드는 영상 인식 모델 계열이다. 정해진 계산량 안에서 정확도와 복잡도의 균형을 찾는 데 초점을 둔다.
2s-AGCN
2s-AGCN은 관절 위치와 뼈의 방향·길이 정보를 두 흐름으로 처리하는 골격 기반 동작 인식 모델이다. 그래프의 연결 관계를 학습해 고정된 골격 연결만 사용하는 방식의 표현 범위를 넓힌다.
CTR-GCN
CTR-GCN은 특징 채널마다 다른 관절 관계를 처리하는 골격 기반 동작 인식 모델이다. 공통 그래프를 바탕으로 입력에 따른 채널별 관계를 더해 특징을 모으고 시간 정보를 결합한다.
PoseC3D
PoseC3D는 관절의 히트맵을 시간 방향으로 쌓고 3차원 합성곱으로 동작을 인식하는 방법이다. PoseConv3D라고도 불리며, 좌표 그래프 대신 규칙적인 시공간 격자에서 골격 정보를 처리한다.
ST-GCN
ST-GCN은 인체 관절의 시공간 그래프에서 동작을 분류하는 그래프 합성곱 신경망이다. 한 프레임의 관절 연결과 여러 프레임에 걸친 관절 변화를 함께 처리해 움직임의 패턴을 학습한다.
HSTFormer
HSTFormer는 2차원 관절 시퀀스에서 3차원 인체 자세를 추정하는 계층적 시공간 트랜스포머 모델이다. 국소적인 관절 관계에서 전역적인 움직임 관계까지 여러 수준의 특징을 처리하고 융합한다.
MHFormer
MHFormer는 2차원 관절 시퀀스에서 3차원 인체 자세를 추정할 때 여러 가능한 자세의 표현을 함께 학습하는 트랜스포머 모델이다. 가설 안과 가설 사이의 정보를 처리하고 결합해 최종 자세를 예측한다.
MotionBERT
MotionBERT는 사람의 움직임에서 여러 작업에 활용할 표현을 학습하는 모델이다. 잡음이 있거나 일부가 빠진 2차원 관절 관측에서 3차원 움직임을 복원하도록 사전 학습하고, 학습한 표현을 후속 작업에 활용한다.
PoseFormer
PoseFormer는 영상의 2차원 관절 위치에서 3차원 인체 자세를 추정하는 트랜스포머 모델이다. 관절 사이의 공간 관계와 프레임 사이의 시간 관계를 처리해 입력 구간의 가운데 프레임 자세를 예측한다.
MixSTE
MixSTE는 2차원 관절 시퀀스에서 3차원 자세 시퀀스를 추정하는 트랜스포머 모델이다. 같은 관절의 시간적 관계와 서로 다른 관절의 공간적 관계를 별도의 블록으로 처리하고 교대로 결합한다.
VideoPose3D
VideoPose3D는 영상에서 얻은 2차원 관절 시퀀스를 시간 합성곱으로 처리해 3차원 자세를 추정하는 방법이다. 팽창 시간 합성곱과 재투영을 이용한 반지도 학습을 활용한다.