문서 둘러보기
RCAN
RCAN은 잔차 안에 잔차를 두는 깊은 구조와 채널 주의를 결합한 이미지 초해상도 모델이다. 여러 건너뛰기 연결로 저주파 정보를 전달하고 특징 채널의 관계에 따라 가중치를 조정한다.
Real-ESRGAN
Real-ESRGAN은 복잡한 실제 저해상도 이미지의 손상을 합성 과정으로 모사해 학습하는 블라인드 초해상도 방법이다. 고차 열화 모형과 스펙트럼 정규화를 적용한 U-Net 판별기를 사용한다.
SwinIR
SwinIR는 Swin Transformer를 기반으로 저품질 이미지를 복원하는 모델이다. 얕은 특징 추출, 잔차 Swin 블록을 통한 깊은 특징 추출과 최종 이미지 재구성의 세 부분으로 구성된다.
NAFNet
NAFNet은 흔히 쓰는 비선형 활성화 함수를 제거하거나 곱셈으로 바꾸어 구성한 이미지 복원 신경망이다. 복잡한 구조를 줄이면서 흐림 제거와 잡음 제거 같은 작업의 정확도 및 계산량을 다룬다.
Restormer
Restormer는 고해상도 이미지 복원을 위해 주의 연산과 순전파 블록을 효율적으로 설계한 트랜스포머 모델이다. 긴 거리의 영상 관계를 활용하면서 잡음 제거와 흐림 제거 등 다양한 복원 작업을 다룬다.
DOT 조밀 추적
DOT는 일부 점의 긴 궤적에서 시작해 두 프레임 사이의 조밀한 대응과 가시성을 추정하는 방법이다. 희소 궤적을 보간한 초기 결과를 가림을 다루는 학습형 광류 추정기로 정제한다.
PIPs 점 추적
PIPs는 영상에서 지정한 점의 여러 프레임에 걸친 궤적과 가시성을 함께 추정하는 모델이다. 점별로 시간 문맥을 활용하고 위치 및 외형 특징을 반복 갱신해 가림이 있는 구간의 추적을 다룬다.
BootsTAP
BootsTAP는 라벨 없는 실제 영상을 학생·교사 자기지도 학습에 활용해 점 추적 모델을 개선하는 방법이다. 합성 데이터에 집중된 점 추적 학습의 범위를 실제 장면으로 넓히는 데 초점을 둔다.
TAP-Vid
TAP-Vid는 영상의 임의 표면점이 시간에 따라 어디로 이동하는지 평가하는 점 추적 벤치마크다. 사람이 주석한 실제 영상과 정확한 점 궤적을 얻을 수 있는 합성 영상을 함께 포함한다.
CoTracker
CoTracker는 여러 2차원 점을 서로 독립적으로만 처리하지 않고 점 사이의 의존 관계를 활용해 함께 추적하는 트랜스포머 모델이다. 짧은 시간 창을 연결해 긴 영상의 궤적을 유지한다.
TAPIR
TAPIR는 영상에서 지정한 표면 위 점의 궤적을 추정하는 모델이다. 프레임마다 대응 후보를 찾는 초기화와 국소 상관 정보를 이용해 궤적 및 질의 특징을 갱신하는 시간 정제의 두 단계로 구성된다.
GOTURN
GOTURN은 사전 학습한 순전파 회귀 신경망으로 새 대상의 위치를 추정하는 객체 추적 방법이다. 추적 실행 중 별도의 온라인 학습을 요구하지 않고 운동과 외형의 일반적 관계를 활용한다.
MDNet
MDNet은 여러 학습 영상에서 공유 표현과 영상별 분류 분기를 학습하는 객체 추적 모델이다. 새로운 영상에서는 공유 층에 새 이진 분류 층을 결합하고 온라인으로 갱신해 지정한 대상을 구분한다.
ECO 객체 추적
ECO는 판별 상관 필터 기반 추적에서 모델 복잡도와 과적합을 줄이는 방법이다. 분해한 합성곱 연산자, 압축된 학습 표본 분포와 보수적인 갱신 전략을 함께 사용한다.
KCF 객체 추적
KCF는 순환 이동한 학습 표본의 구조를 활용해 커널 회귀를 효율적으로 계산하는 객체 추적 방법이다. 순환 행렬을 이산 푸리에 변환으로 대각화해 저장과 계산의 중복을 줄인다.
ATOM 객체 추적
ATOM은 대상을 구분하는 분류와 상자의 정확한 상태 추정을 나누어 구성한 객체 추적 모델이다. 대상과 후보 상자의 겹침을 예측하는 부분은 사전 학습하고, 대상별 분류는 추적 중 온라인으로 학습한다.
DCFNet
DCFNet은 샴 신경망 안에 판별 상관 필터 층을 넣어 특징 학습과 상관 기반 추적을 함께 수행하는 모델이다. 주파수 영역의 계산을 활용하면서 추적 목적에 맞는 합성곱 특징을 학습한다.
DiMP
DiMP는 대상과 배경의 외형 정보를 이용해 대상별 판별 모델을 예측하고 갱신하는 객체 추적 방법이다. 판별 손실에서 유도한 최적화 과정을 추적 구조에 포함해 적은 반복으로 대상 모델을 학습한다.
PrDiMP
PrDiMP는 영상에서 대상 상태를 확률 밀도로 표현하는 회귀 방식을 추적에 적용한 모델이다. 점수 하나의 최대 위치만 다루기보다 상태의 불확실성과 정답 주석의 모호함을 학습에 반영한다.
MixFormer
MixFormer는 특징 추출과 대상 정보 결합을 혼합 주의 모듈에서 함께 수행하는 객체 추적 모델이다. 템플릿과 검색 영역의 관계를 반복적으로 처리한 뒤 위치 예측부에서 대상 상자를 추정한다.
SimTrack
SimTrack은 이미지 입력을 시퀀스로 묶어 한 트랜스포머 백본에서 특징 추출과 상호작용을 함께 수행하는 객체 추적 모델이다. 별도의 복잡한 관계 모듈을 줄이고 백본 자체의 정보 교환을 활용한다.
OSTrack
OSTrack은 대상 템플릿과 검색 영역을 한 흐름에서 처리해 특징 학습과 관계 모델링을 함께 수행하는 객체 추적 모델이다. 두 입력 사이의 양방향 정보 교환으로 대상에 맞는 특징을 학습한다.
STARK
STARK는 인코더·디코더 트랜스포머로 대상과 검색 영역의 시공간 관계를 처리하고 추적 상자를 직접 예측하는 모델이다. 대상 위치를 찾기 위해 미리 정한 앵커나 별도의 제안 상자를 사용하지 않는 구성을 제시한다.
SiamFC
SiamFC는 완전 합성곱 샴 신경망으로 대상 예시와 검색 영역의 유사성을 계산하는 객체 추적 방법이다. 영상 데이터에서 미리 학습한 표현을 사용해 지정한 대상의 위치를 다음 프레임에서 찾는다.
SiamRPN 플러스
SiamRPN 플러스는 원래 SiamRPN++로 표기하는 샴 신경망 기반 객체 추적 모델이다. 깊은 특징 추출기를 추적에 활용하기 위한 공간 인지 샘플링과 채널별 및 층별 특징 집계를 도입한다.
MOTR
MOTR은 추적 질의를 프레임마다 전달하고 갱신해 영상의 객체 궤적을 예측하는 트랜스포머 모델이다. DETR의 집합 예측을 확장하고 기존 궤적 및 새 대상의 학습을 함께 다루는 다중 객체 추적 방법이다.
TrackFormer
TrackFormer는 프레임 사이의 다중 객체 추적을 집합 예측으로 구성한 트랜스포머 모델이다. 새 대상을 찾는 객체 질의와 기존 대상을 이어가는 추적 질의를 사용해 시간에 따른 객체 예측을 갱신한다.
FairMOT
FairMOT는 하나의 신경망에서 객체 검출과 재식별 특징 학습을 함께 수행하는 다중 객체 추적 모델이다. 한 작업이 다른 작업을 압도하는 문제를 다루며 두 목표가 모두 유용한 표현을 학습하도록 설계한다.
SORT 객체 추적
SORT는 칼만 필터의 상태 추정과 헝가리 알고리즘의 할당으로 프레임별 검출을 궤적에 연결하는 온라인 다중 객체 추적 방법이다. 단순한 추적 구성을 사용하면서 검출 품질이 결과에 미치는 영향을 강조한다.
BoT-SORT
BoT-SORT는 영상의 보행자를 추적할 때 운동, 외형과 카메라 움직임 보정을 함께 활용하는 방법이다. 검출 상자를 시간에 따라 연결하고 객체별 식별자를 유지하는 다중 객체 추적 모델이다.
DeepSORT
DeepSORT는 SORT 추적에 학습된 외형 유사도 정보를 추가해 검출 관측과 기존 궤적을 연결하는 방법이다. 보행자 재식별 데이터에서 학습한 특징을 활용해 가림과 식별자 전환을 다룬다.
ByteTrack
ByteTrack은 영상의 여러 객체를 추적할 때 점수가 낮은 검출 상자도 기존 궤적과 연결에 활용하는 방법이다. 높은 점수의 검출만 남겨 생기는 누락과 궤적 단절을 줄이려는 접근이다.
OC-SORT
OC-SORT는 가림 동안 누적되는 운동 추정 오류를 실제 검출 관측을 중심으로 보정하는 다중 객체 추적 방법이다. 관측으로 만든 가상 궤적을 이용해 칼만 필터 기반 추적의 상태를 조정한다.
Background Matting V2
Background Matting V2는 대상이 없는 배경 사진을 추가로 사용해 전경과 알파 매트를 추정하는 방법이다. 낮은 해상도의 기본 결과를 만들고 필요한 고해상도 패치만 정제하는 두 네트워크 구성을 사용한다.
FBA 매팅
FBA 매팅은 이미지의 알파뿐 아니라 전경과 배경의 색도 함께 추정하는 매팅 방법이다. 가린 부분의 덮임 정도와 색을 공동으로 예측해 새로운 배경에 합성하는 데 필요한 정보를 다룬다.
RVM 영상 매팅
RVM은 이전 시점의 정보를 순환 구조로 활용해 인물 영상의 알파 매트를 추정하는 모델이다. 프레임을 독립 이미지로만 처리하는 방식과 달리 시간 정보를 이용해 매팅 품질과 일관성을 높이는 데 초점을 둔다.
MODNet
MODNet은 한 장의 RGB 인물 이미지에서 전경의 알파 매트를 추정하는 모델이다. 트라이맵을 추가 입력으로 요구하지 않으며 여러 하위 목표를 함께 최적화하는 분해 구성으로 인물 매팅을 수행한다.
Cutie 영상 객체 분할
Cutie는 화소 특징과 객체 수준의 메모리 표현을 함께 사용해 영상의 대상 영역을 추정하는 모델이다. 객체 질의와 고해상도 화소 특징을 반복적으로 결합해 비슷한 방해 물체가 있는 장면의 분할을 다룬다.
DEVA 영상 분할
DEVA는 작업별 이미지 분할과 공통 시간 전파를 분리해 영상 영역을 연결하는 방법이다. 여러 프레임의 분할 가설을 양방향으로 전파하고 결합해 시간적으로 이어지는 결과를 만든다.
AOT 영상 객체 분할
AOT는 여러 대상의 식별 정보를 공통 임베딩 공간에서 처리해 영상의 객체 영역을 추정하는 모델이다. 장단기 트랜스포머로 과거 프레임과 현재 프레임 사이의 대응 및 정보 전파를 계층적으로 수행한다.
DeAOT
DeAOT는 영상 객체 분할의 계층적 정보 전파에서 일반 시각 특징과 대상별 식별 특징을 분리하는 모델이다. 두 종류의 표현을 별도 분기에서 처리하고 게이트 전파 모듈로 계산 부담을 줄인다.
STCN
STCN은 과거 프레임의 특징과 현재 프레임의 대응 관계를 이용해 영상 속 대상 물체의 영역을 추정하는 모델이다. 객체마다 대응을 다시 계산하는 부담을 줄이고 메모리 특징을 더 폭넓게 활용하는 유사도 구성을 사용한다.
XMem
XMem은 긴 영상에서 대상 물체를 분할하기 위해 성격이 다른 여러 특징 메모리를 결합한 모델이다. 빠르게 갱신하는 감각 메모리, 세밀한 작업 메모리와 압축된 장기 메모리로 시간에 따른 정보를 관리한다.
TemporalMaxer
TemporalMaxer는 추출된 영상 클립 특징에 국소 최대 풀링을 적용해 시간적 동작 위치를 추정하는 모델이다. 복잡한 장기 시간 관계 모듈 대신 이미 학습된 클립 특징의 정보를 간단하게 모으는 접근이다.
ActionFormer
ActionFormer는 영상에서 동작의 종류와 시간 경계를 함께 예측하는 트랜스포머 기반 모델이다. 다중 스케일 특징과 국소 자기 주의를 결합하고 각 시간 위치에서 분류와 경계 추정을 수행한다.
BMN 동작 구간 제안
BMN은 영상의 시작·종료 경계 쌍으로 시간 구간을 표현하고 많은 후보의 신뢰도를 맵으로 평가하는 모델이다. 경계 위치와 구간의 점수를 함께 학습해 동작 구간을 제안한다.
BSN 동작 구간 제안
BSN은 긴 영상에서 동작이 있을 법한 시간 구간을 제안하는 모델이다. 시작과 종료 경계의 후보를 찾고 이를 조합한 구간의 특징으로 신뢰도를 평가한다.
TRN 동작 인식
TRN은 영상 프레임 사이의 시간 관계를 여러 시간 규모에서 학습하는 모듈이다. 희소하게 고른 프레임의 관계를 활용해 물체와 사람의 변화 순서가 중요한 동작을 분류하는 데 사용한다.
TSN 동작 인식
TSN은 영상을 시간 구간으로 나누고 각 구간에서 일부 관측을 골라 영상 단위 동작을 학습하는 방법이다. 적은 표본으로 긴 시간 범위의 단서를 활용하는 희소 시간 샘플링과 영상 수준 감독을 결합한다.
TSM 시간 이동 모듈
TSM은 영상 특징의 일부 채널을 시간 방향으로 이동시켜 인접 프레임의 정보가 섞이도록 하는 모듈이다. 2차원 합성곱망에 시간 모델링을 추가하면서 별도의 학습 가중치와 산술 연산 증가를 억제하는 접근이다.
비국소 신경망
비국소 신경망은 멀리 떨어진 위치 사이의 관계를 처리하는 비국소 연산을 포함한 신경망이다. 한 위치의 응답을 여러 위치의 특징에 가중치를 적용해 모은 값으로 계산하며 영상과 이미지 인식에 활용한다.
R2plus1D
R2plus1D는 영상의 3차원 합성곱을 공간 합성곱과 시간 합성곱으로 나누어 구성하는 동작 인식 모델이다. 원래 표기 R(2+1)D의 2와 1은 두 공간축과 한 시간축을 가리킨다.
I3D
I3D는 이미지 분류용 2차원 합성곱망의 필터와 풀링을 시간축까지 확장해 영상 동작을 인식하는 모델이다. 이미지에서 학습한 설계와 매개변수를 활용하면서 시공간 특징을 학습하는 접근이다.
MaskFeat
MaskFeat는 입력의 일부를 가리고 그 영역의 특징을 예측하도록 시각 모델을 사전 학습하는 자기지도 방법이다. 화소 자체가 아닌 특징을 복원 목표로 삼으며, 방향성 기울기 히스토그램을 활용한 구성이 대표적이다.
OmniMAE
OmniMAE는 이미지와 영상을 한 비전 트랜스포머로 함께 사전 학습하는 방법이다. 두 입력 모두에서 많은 패치를 가리고 복원하도록 학습해 이미지 및 영상 인식에 활용할 공통 시각 표현을 만든다.
Video Swin Transformer
Video Swin Transformer는 영상의 시공간 토큰을 작은 창으로 나누어 자기 주의를 적용하는 영상 인식 모델이다. 인접 블록에서 창의 위치를 이동해 서로 다른 창 사이의 정보가 연결되도록 한다.
VideoMAE V2
VideoMAE V2는 인코더뿐 아니라 디코더가 처리하는 토큰도 일부 선택하는 이중 마스킹으로 영상 사전 학습의 계산 부담을 줄이는 방법이다. 모델과 데이터의 규모 확대 및 단계적 학습을 함께 다룬다.
MViT
MViT는 해상도가 다른 여러 단계의 특징을 만드는 다중 스케일 비전 트랜스포머다. 초기에는 높은 공간 해상도와 적은 채널로 처리하고 깊은 단계에서는 공간 해상도를 줄이면서 채널 용량을 늘린다.
ViViT
ViViT는 영상에서 시공간 토큰을 만들고 트랜스포머로 처리해 동작을 분류하는 모델 계열이다. 긴 토큰 시퀀스의 부담을 줄이기 위해 공간과 시간을 분리해 처리하는 여러 구성을 제시한다.
TimeSformer
TimeSformer는 영상 프레임을 패치로 나누고 공간 및 시간 자기 주의로 영상의 동작을 분류하는 트랜스포머 모델이다. 시간 관계와 공간 관계를 블록 안에서 따로 처리하는 분리 주의 구성이 특징이다.
VideoMAE
VideoMAE는 영상의 많은 부분을 가리고 남은 관측에서 복원하도록 학습하는 자기지도 사전 학습 방법이다. 시간에 걸쳐 이어지는 튜브 마스킹으로 영상의 반복 정보를 활용한 쉬운 복원을 줄이고 표현을 학습한다.
SlowFast
SlowFast는 서로 다른 시간 해상도로 영상을 처리하는 두 경로를 결합한 영상 인식 신경망이다. 느린 경로는 공간적 의미를, 빠른 경로는 촘촘한 시간 변화의 단서를 처리하도록 구성한다.
X3D
X3D는 작은 이미지 분류 신경망을 시간, 공간, 채널과 깊이 방향으로 점진적으로 확장해 만드는 영상 인식 모델 계열이다. 정해진 계산량 안에서 정확도와 복잡도의 균형을 찾는 데 초점을 둔다.
2s-AGCN
2s-AGCN은 관절 위치와 뼈의 방향·길이 정보를 두 흐름으로 처리하는 골격 기반 동작 인식 모델이다. 그래프의 연결 관계를 학습해 고정된 골격 연결만 사용하는 방식의 표현 범위를 넓힌다.
CTR-GCN
CTR-GCN은 특징 채널마다 다른 관절 관계를 처리하는 골격 기반 동작 인식 모델이다. 공통 그래프를 바탕으로 입력에 따른 채널별 관계를 더해 특징을 모으고 시간 정보를 결합한다.
PoseC3D
PoseC3D는 관절의 히트맵을 시간 방향으로 쌓고 3차원 합성곱으로 동작을 인식하는 방법이다. PoseConv3D라고도 불리며, 좌표 그래프 대신 규칙적인 시공간 격자에서 골격 정보를 처리한다.
ST-GCN
ST-GCN은 인체 관절의 시공간 그래프에서 동작을 분류하는 그래프 합성곱 신경망이다. 한 프레임의 관절 연결과 여러 프레임에 걸친 관절 변화를 함께 처리해 움직임의 패턴을 학습한다.
HSTFormer
HSTFormer는 2차원 관절 시퀀스에서 3차원 인체 자세를 추정하는 계층적 시공간 트랜스포머 모델이다. 국소적인 관절 관계에서 전역적인 움직임 관계까지 여러 수준의 특징을 처리하고 융합한다.
MHFormer
MHFormer는 2차원 관절 시퀀스에서 3차원 인체 자세를 추정할 때 여러 가능한 자세의 표현을 함께 학습하는 트랜스포머 모델이다. 가설 안과 가설 사이의 정보를 처리하고 결합해 최종 자세를 예측한다.
MotionBERT
MotionBERT는 사람의 움직임에서 여러 작업에 활용할 표현을 학습하는 모델이다. 잡음이 있거나 일부가 빠진 2차원 관절 관측에서 3차원 움직임을 복원하도록 사전 학습하고, 학습한 표현을 후속 작업에 활용한다.
PoseFormer
PoseFormer는 영상의 2차원 관절 위치에서 3차원 인체 자세를 추정하는 트랜스포머 모델이다. 관절 사이의 공간 관계와 프레임 사이의 시간 관계를 처리해 입력 구간의 가운데 프레임 자세를 예측한다.
MixSTE
MixSTE는 2차원 관절 시퀀스에서 3차원 자세 시퀀스를 추정하는 트랜스포머 모델이다. 같은 관절의 시간적 관계와 서로 다른 관절의 공간적 관계를 별도의 블록으로 처리하고 교대로 결합한다.
VideoPose3D
VideoPose3D는 영상에서 얻은 2차원 관절 시퀀스를 시간 합성곱으로 처리해 3차원 자세를 추정하는 방법이다. 팽창 시간 합성곱과 재투영을 이용한 반지도 학습을 활용한다.
OpenPose
OpenPose는 영상 속 여러 사람의 2차원 관절을 검출하고 부위 친화장으로 관절 사이의 연결을 추정하는 자세 분석 시스템이다. 관절 위치와 사람별 연결 관계를 함께 다루는 상향식 접근을 사용한다.
RTMPose
RTMPose는 정확도와 실행 지연을 함께 고려해 설계한 다중 인물 자세 추정 프레임워크다. MMPose를 기반으로 모델 구조와 학습 전략 및 배포 조건을 함께 검토해 다양한 장치의 실행을 다룬다.
HRNet
HRNet은 높은 해상도의 특징 경로를 유지하면서 여러 해상도 경로 사이의 정보를 반복 결합하는 신경망이다. 관절 위치 추정처럼 공간적으로 정밀한 출력이 필요한 영상 작업에 활용한다.
ViTPose
ViTPose는 일반적인 비전 트랜스포머와 가벼운 디코더로 사람의 관절 위치를 추정하는 모델이다. 사람 인스턴스의 특징을 인코딩하고 모델 크기와 학습 및 입력 조건에 따른 성능을 검토한다.
PARE 인체 복원
PARE는 신체 부위별 주의 마스크를 학습해 3차원 자세와 체형을 추정하는 방법이다. 부분적으로 가려진 사람을 다룰 때 보이는 부위와 주변 부위의 정보를 선택적으로 활용한다.
VIBE 인체 복원
VIBE는 영상 시퀀스에서 사람의 자세와 체형을 추정하는 방법이다. 시간 정보를 처리하는 회귀 모델과 실제 사람 움직임의 사전 지식을 결합해 운동학적으로 자연스러운 인체 동작을 다룬다.
SPIN 인체 복원
SPIN은 영상에서 인체 매개변수를 예측하는 신경망과 반복적인 인체 모델 맞춤을 학습 중에 결합하는 방법이다. 신경망의 추정으로 최적화를 시작하고 맞춤 결과를 다시 신경망의 감독에 사용한다.
HMR 인체 복원
HMR은 RGB 영상 한 장에서 사람의 체형과 관절 회전을 추정해 3차원 인체 메시를 만드는 방법이다. 영상의 키포인트 재투영과 학습된 인체 매개변수 사전 지식을 결합한다.
3DETR
3DETR는 점군에서 물체를 검출하는 트랜스포머 기반 모델이다. 비매개변수 질의와 푸리에 위치 임베딩을 사용해 3차원 입력의 공간 정보를 다루고 물체 경계 상자와 범주를 예측한다.
Group-Free 3D
Group-Free 3D는 물체 후보별 점을 미리 고정된 규칙으로 묶는 대신 주의 연산으로 점들의 기여를 학습하는 3차원 검출 방법이다. 여러 단계의 물체 특징을 결합해 점군에서 물체를 찾는다.
CenterPoint
CenterPoint는 3차원 물체의 중심을 검출하고 크기와 방향 및 속도를 추정하는 물체 검출·추적 방법이다. 중심 기반 표현과 추가 특징을 이용한 정제를 결합해 점군의 여러 물체를 다룬다.
PointRCNN
PointRCNN은 원시 점군에서 전경을 구분해 3차원 물체 제안을 만들고 이를 정제하는 두 단계 검출 방법이다. 제안별 점을 기준 좌표로 변환해 국소 공간 특징과 점별 의미 특징을 함께 활용한다.
PV-RCNN
PV-RCNN은 복셀 신경망과 점 기반 특징 집계를 결합하는 3차원 물체 검출 방법이다. 장면 특징을 소수의 키포인트에 모으고 물체 제안 영역의 격자에서 관련 특징을 추출해 검출을 정제한다.
VoxelNet
VoxelNet은 점군을 일정 간격의 3차원 복셀로 나누고 각 복셀의 점 특징을 학습해 물체를 검출하는 신경망이다. 복셀 특징 인코딩과 경계 상자 예측을 하나의 학습 과정으로 연결한다.
PointPillars
PointPillars는 점군을 수직 기둥 단위로 묶어 특징을 학습하고 이를 2차원 검출망에 연결하는 방법이다. 기둥별 공간 정보를 평면의 특징 배열로 정리해 3차원 물체 검출의 효율을 다룬다.
VoteNet
VoteNet은 점군의 관측점에서 물체 중심을 향하는 투표를 예측해 3차원 물체를 검출하는 신경망이다. 점 집합의 특징 학습과 허프 투표의 원리를 결합해 물체의 위치와 경계 상자를 추정한다.
PointCLIP
PointCLIP은 점군을 여러 방향의 깊이 영상으로 투영해 CLIP의 영상·언어 표현을 3차원 인식에 활용하는 방법이다. 시점별 예측을 합치고 소수 라벨 학습에서는 시점 간 어댑터를 조정한다.
ULIP
ULIP는 같은 물체의 점군과 영상 및 텍스트를 공통 특징 공간에 정렬하는 사전 학습 방법이다. 이미 정렬된 영상·언어 모델의 표현을 활용해 점군 모델의 공간을 연결하고 3차원 이해 작업에 사용한다.
Point-BERT
Point-BERT는 점군의 일부 패치를 가리고 그 위치의 이산 토큰을 예측하도록 트랜스포머를 사전 학습하는 방법이다. 국소 점 패치를 토큰으로 바꾸는 모델과 마스킹 복원 과정을 결합한다.
Point-MAE
Point-MAE는 점군의 국소 패치를 높은 비율로 가리고 원래 패치를 복원하는 자기 감독 사전 학습 방법이다. 보이는 패치를 처리하는 인코더와 복원을 맡는 디코더를 비대칭으로 구성한다.
PointMLP
PointMLP는 잔차 다층 퍼셉트론을 중심으로 점군을 분석하는 신경망이다. 복잡한 국소 기하 추출기를 필수로 두지 않고 가벼운 기하 아핀 모듈을 결합해 분류와 형상 이해를 다룬다.
PointNeXt
PointNeXt는 점군 신경망의 학습 방식과 규모 확장을 함께 재검토한 모델이다. 개선된 증강과 최적화 전략에 더해 역잔차 병목 및 분리형 MLP를 사용해 효율적인 확장을 다룬다.
KPConv
KPConv는 공간에 놓인 커널 점을 기준으로 이웃 점의 특징을 처리하는 점군 합성곱이다. 고정된 영상 격자 없이 점군에 직접 적용하며 커널 점의 위치를 조정하는 변형 가능한 구성도 제공한다.
Point Transformer
Point Transformer는 자기 주의 연산을 점군 처리에 적용하는 신경망 구조다. 점 사이의 관계를 활용해 물체 분류와 부분 분할 및 장면 의미 분할처럼 공간 점에 대한 이해가 필요한 작업을 다룬다.
DGCNN
DGCNN은 점군의 이웃 그래프를 각 신경망 층에서 다시 구성하며 특징을 학습하는 방법이다. EdgeConv로 이웃 관계의 정보를 모으고 특징 공간에서 바뀌는 연결을 통해 형상 분류와 분할을 다룬다.
PointNet
PointNet은 순서가 정해지지 않은 점 집합을 직접 입력받아 형상 분류와 점별 분할을 수행하는 신경망이다. 각 점을 공유된 방식으로 처리하고 대칭 집계 함수로 전체 정보를 모아 입력 순서에 대한 불변성을 다룬다.
DeepSDF
DeepSDF는 잠재 코드와 공간 좌표에서 부호 거리 함수를 예측해 여러 형상을 표현하는 방법이다. 표면은 함수의 영점으로 나타내며 부분적이거나 잡음이 있는 공간 자료의 형상 보완에도 사용한다.