문서 둘러보기
OpenPose
OpenPose는 영상 속 여러 사람의 2차원 관절을 검출하고 부위 친화장으로 관절 사이의 연결을 추정하는 자세 분석 시스템이다. 관절 위치와 사람별 연결 관계를 함께 다루는 상향식 접근을 사용한다.
RTMPose
RTMPose는 정확도와 실행 지연을 함께 고려해 설계한 다중 인물 자세 추정 프레임워크다. MMPose를 기반으로 모델 구조와 학습 전략 및 배포 조건을 함께 검토해 다양한 장치의 실행을 다룬다.
HRNet
HRNet은 높은 해상도의 특징 경로를 유지하면서 여러 해상도 경로 사이의 정보를 반복 결합하는 신경망이다. 관절 위치 추정처럼 공간적으로 정밀한 출력이 필요한 영상 작업에 활용한다.
ViTPose
ViTPose는 일반적인 비전 트랜스포머와 가벼운 디코더로 사람의 관절 위치를 추정하는 모델이다. 사람 인스턴스의 특징을 인코딩하고 모델 크기와 학습 및 입력 조건에 따른 성능을 검토한다.
PARE 인체 복원
PARE는 신체 부위별 주의 마스크를 학습해 3차원 자세와 체형을 추정하는 방법이다. 부분적으로 가려진 사람을 다룰 때 보이는 부위와 주변 부위의 정보를 선택적으로 활용한다.
VIBE 인체 복원
VIBE는 영상 시퀀스에서 사람의 자세와 체형을 추정하는 방법이다. 시간 정보를 처리하는 회귀 모델과 실제 사람 움직임의 사전 지식을 결합해 운동학적으로 자연스러운 인체 동작을 다룬다.
SPIN 인체 복원
SPIN은 영상에서 인체 매개변수를 예측하는 신경망과 반복적인 인체 모델 맞춤을 학습 중에 결합하는 방법이다. 신경망의 추정으로 최적화를 시작하고 맞춤 결과를 다시 신경망의 감독에 사용한다.
HMR 인체 복원
HMR은 RGB 영상 한 장에서 사람의 체형과 관절 회전을 추정해 3차원 인체 메시를 만드는 방법이다. 영상의 키포인트 재투영과 학습된 인체 매개변수 사전 지식을 결합한다.
3DETR
3DETR는 점군에서 물체를 검출하는 트랜스포머 기반 모델이다. 비매개변수 질의와 푸리에 위치 임베딩을 사용해 3차원 입력의 공간 정보를 다루고 물체 경계 상자와 범주를 예측한다.
Group-Free 3D
Group-Free 3D는 물체 후보별 점을 미리 고정된 규칙으로 묶는 대신 주의 연산으로 점들의 기여를 학습하는 3차원 검출 방법이다. 여러 단계의 물체 특징을 결합해 점군에서 물체를 찾는다.
CenterPoint
CenterPoint는 3차원 물체의 중심을 검출하고 크기와 방향 및 속도를 추정하는 물체 검출·추적 방법이다. 중심 기반 표현과 추가 특징을 이용한 정제를 결합해 점군의 여러 물체를 다룬다.
PointRCNN
PointRCNN은 원시 점군에서 전경을 구분해 3차원 물체 제안을 만들고 이를 정제하는 두 단계 검출 방법이다. 제안별 점을 기준 좌표로 변환해 국소 공간 특징과 점별 의미 특징을 함께 활용한다.
PV-RCNN
PV-RCNN은 복셀 신경망과 점 기반 특징 집계를 결합하는 3차원 물체 검출 방법이다. 장면 특징을 소수의 키포인트에 모으고 물체 제안 영역의 격자에서 관련 특징을 추출해 검출을 정제한다.
VoxelNet
VoxelNet은 점군을 일정 간격의 3차원 복셀로 나누고 각 복셀의 점 특징을 학습해 물체를 검출하는 신경망이다. 복셀 특징 인코딩과 경계 상자 예측을 하나의 학습 과정으로 연결한다.
PointPillars
PointPillars는 점군을 수직 기둥 단위로 묶어 특징을 학습하고 이를 2차원 검출망에 연결하는 방법이다. 기둥별 공간 정보를 평면의 특징 배열로 정리해 3차원 물체 검출의 효율을 다룬다.
VoteNet
VoteNet은 점군의 관측점에서 물체 중심을 향하는 투표를 예측해 3차원 물체를 검출하는 신경망이다. 점 집합의 특징 학습과 허프 투표의 원리를 결합해 물체의 위치와 경계 상자를 추정한다.
PointCLIP
PointCLIP은 점군을 여러 방향의 깊이 영상으로 투영해 CLIP의 영상·언어 표현을 3차원 인식에 활용하는 방법이다. 시점별 예측을 합치고 소수 라벨 학습에서는 시점 간 어댑터를 조정한다.
ULIP
ULIP는 같은 물체의 점군과 영상 및 텍스트를 공통 특징 공간에 정렬하는 사전 학습 방법이다. 이미 정렬된 영상·언어 모델의 표현을 활용해 점군 모델의 공간을 연결하고 3차원 이해 작업에 사용한다.
Point-BERT
Point-BERT는 점군의 일부 패치를 가리고 그 위치의 이산 토큰을 예측하도록 트랜스포머를 사전 학습하는 방법이다. 국소 점 패치를 토큰으로 바꾸는 모델과 마스킹 복원 과정을 결합한다.
Point-MAE
Point-MAE는 점군의 국소 패치를 높은 비율로 가리고 원래 패치를 복원하는 자기 감독 사전 학습 방법이다. 보이는 패치를 처리하는 인코더와 복원을 맡는 디코더를 비대칭으로 구성한다.
PointMLP
PointMLP는 잔차 다층 퍼셉트론을 중심으로 점군을 분석하는 신경망이다. 복잡한 국소 기하 추출기를 필수로 두지 않고 가벼운 기하 아핀 모듈을 결합해 분류와 형상 이해를 다룬다.
PointNeXt
PointNeXt는 점군 신경망의 학습 방식과 규모 확장을 함께 재검토한 모델이다. 개선된 증강과 최적화 전략에 더해 역잔차 병목 및 분리형 MLP를 사용해 효율적인 확장을 다룬다.
KPConv
KPConv는 공간에 놓인 커널 점을 기준으로 이웃 점의 특징을 처리하는 점군 합성곱이다. 고정된 영상 격자 없이 점군에 직접 적용하며 커널 점의 위치를 조정하는 변형 가능한 구성도 제공한다.
Point Transformer
Point Transformer는 자기 주의 연산을 점군 처리에 적용하는 신경망 구조다. 점 사이의 관계를 활용해 물체 분류와 부분 분할 및 장면 의미 분할처럼 공간 점에 대한 이해가 필요한 작업을 다룬다.
DGCNN
DGCNN은 점군의 이웃 그래프를 각 신경망 층에서 다시 구성하며 특징을 학습하는 방법이다. EdgeConv로 이웃 관계의 정보를 모으고 특징 공간에서 바뀌는 연결을 통해 형상 분류와 분할을 다룬다.
PointNet
PointNet은 순서가 정해지지 않은 점 집합을 직접 입력받아 형상 분류와 점별 분할을 수행하는 신경망이다. 각 점을 공유된 방식으로 처리하고 대칭 집계 함수로 전체 정보를 모아 입력 순서에 대한 불변성을 다룬다.
DeepSDF
DeepSDF는 잠재 코드와 공간 좌표에서 부호 거리 함수를 예측해 여러 형상을 표현하는 방법이다. 표면은 함수의 영점으로 나타내며 부분적이거나 잡음이 있는 공간 자료의 형상 보완에도 사용한다.
점유 네트워크
점유 네트워크는 공간의 각 위치가 물체 안에 있는지를 예측하는 연속 함수로 형상을 표현하는 방법이다. 학습된 분류기의 결정 경계로 표면을 나타내며 영상이나 점군 등의 입력에서 공간 구조를 추정한다.
Atlas 장면 복원
Atlas는 카메라 자세가 있는 여러 RGB 영상에서 장면의 절단 부호 거리 함수를 직접 예측하는 공간 복원 방법이다. 영상 특징을 복셀 공간에 모으고 3차원 신경망으로 형상을 추정한다.
NeuralRecon
NeuralRecon은 단안 영상의 짧은 구간들에서 희소 거리 함수 형태의 표면을 순차적으로 복원하는 방법이다. 학습된 순환 결합 모듈로 이전 구간의 특징을 활용해 이어지는 장면의 일관성을 다룬다.
CasMVSNet
CasMVSNet은 단계적으로 좁아지는 깊이 탐색 범위를 사용하는 다중 시점 스테레오 구성이다. 낮은 해상도에서 얻은 깊이를 바탕으로 더 세밀한 단계의 비용 볼륨을 만들어 고해상도 추정의 부담을 줄인다.
PatchmatchNet
PatchmatchNet은 다중 시점 깊이 추정에 학습 가능한 패치매치 과정을 사용하는 방법이다. 여러 규모에서 깊이 후보를 반복적으로 전파하고 평가해 고해상도 영상의 복원을 다룬다.
MVSNet
MVSNet은 여러 시점의 영상에서 기준 영상의 깊이 지도를 추정하는 신경망이다. 카메라 기하에 따른 특징 워핑으로 비용 볼륨을 만들고 3차원 합성곱으로 이를 처리한 뒤 깊이를 정제한다.
R-MVSNet
R-MVSNet은 다중 시점 깊이 추정의 비용 지도를 깊이 방향으로 순차 처리하는 신경망이다. 전체 3차원 볼륨을 한 번에 정규화하는 대신 순환 모듈을 사용해 메모리 부담을 줄이는 구성을 취한다.
ManyDepth
ManyDepth는 추론할 때에도 가까운 영상 프레임을 활용해 깊이를 추정하는 자기 감독 방법이다. 여러 시점의 비용 볼륨을 사용하면서 움직이는 물체나 정지 카메라처럼 정보가 불안정한 조건을 함께 다룬다.
Monodepth2
Monodepth2는 영상 재투영을 이용한 자기 감독 단안 깊이 학습 방법이다. 가림을 다루는 최소 재투영 손실과 자동 마스킹, 원본 해상도에서의 다중 규모 표본 처리를 결합한다.
BinsFormer
BinsFormer는 트랜스포머 디코더로 적응 깊이 구간을 예측하는 단안 깊이 추정 방법이다. 구간과 화소별 분포의 상호작용 및 여러 해상도의 디코딩을 통해 깊이 지도를 계산한다.
AdaBins
AdaBins는 영상마다 깊이 구간을 적응적으로 정하고 구간 중심의 조합으로 화소별 깊이를 추정하는 방법이다. 인코더와 디코더 구조에 전역 정보를 처리하는 트랜스포머 기반 블록을 결합한다.
Metric3D
Metric3D는 한 영상에서 실제 척도의 깊이를 예측하기 위해 여러 카메라 조건의 차이를 다루는 방법이다. 표준 카메라 공간으로의 변환과 다양한 자료의 학습을 결합해 새로운 카메라 환경으로의 전이를 목표로 한다.
ZoeDepth
ZoeDepth는 상대 깊이의 사전 학습과 실제 단위 깊이의 미세 조정을 결합하는 단안 깊이 추정 방법이다. 여러 환경의 표현을 공유하면서 영역별 깊이 출력 헤드를 사용해 실제 척도의 예측을 다룬다.
Depth Pro
Depth Pro는 한 장의 영상에서 실제 단위의 깊이를 추정하는 모델이다. 여러 규모의 비전 트랜스포머와 실제·합성 자료의 학습을 결합하고 물체 경계와 가는 구조의 깊이 표현을 다룬다.
Marigold 깊이 추정
Marigold는 사전 학습된 이미지 확산 모델의 시각 지식을 단안 깊이 추정에 활용하는 방법이다. 합성 깊이 자료로 생성 모델을 조정해 영상 한 장에 조건화된 상대 깊이 표현을 얻는다.
Depth Anything
Depth Anything은 대규모 비주석 영상에 자동으로 깊이 정보를 부여해 단안 깊이 모델을 학습하는 접근이다. 다양한 자료와 데이터 증강 및 사전 학습된 인코더의 의미 정보를 활용해 다른 환경으로의 일반화를 다룬다.
Depth Anything V2
Depth Anything V2는 합성 자료로 학습한 큰 교사 모델과 실제 영상의 의사 라벨을 활용하는 단안 깊이 추정 방법이다. 교사의 지식을 학생 모델로 전달해 세밀한 구조와 다양한 장면의 깊이 예측을 다룬다.
DPT
DPT는 비전 트랜스포머의 여러 단계에서 얻은 토큰을 영상 형태의 특징으로 재구성하고 결합하는 조밀 예측 구조다. 깊이 추정과 의미 분할처럼 각 영상 위치에 결과가 필요한 작업에 사용한다.
MiDaS
MiDaS는 서로 다른 출처의 깊이 자료를 섞어 단안 깊이 모델의 일반화를 높이는 접근이다. 깊이 범위와 척도가 서로 다른 자료를 함께 학습하고 보지 않은 자료에서의 전이 성능을 평가한다.
GwcNet
GwcNet은 특징 채널을 여러 그룹으로 나누어 스테레오 대응의 상관 정보를 계산하는 방법이다. 그룹별로 얻은 대응 단서를 비용 볼륨에 담아 시차를 추정한다.
PSMNet
PSMNet은 공간 피라미드 풀링과 3차원 합성곱 신경망을 사용해 스테레오 시차를 추정하는 방법이다. 여러 규모의 문맥으로 비용 볼륨을 구성하고 이를 정규화해 모호한 영역의 대응을 다룬다.
IGEV-Stereo
IGEV-Stereo는 기하와 문맥 및 국소 대응 정보를 담는 볼륨을 만들고 이를 반복 조회해 시차를 갱신하는 스테레오 매칭 방법이다. 반복 추정의 초기값에도 기하 인코딩 정보를 활용한다.
RAFT-Stereo
RAFT-Stereo는 정렬된 스테레오 영상에서 시차를 추정하는 반복 신경망이다. 광류 추정 방법 RAFT의 접근을 스테레오 대응에 맞추고 여러 수준의 합성곱 순환 모듈로 정보를 전달한다.
GMFlow
GMFlow는 두 영상의 전역적인 특징 대응으로 광류를 추정하는 방법이다. 트랜스포머로 특징을 보강하고 상관 및 소프트맥스에 기반한 매칭과 자기 주의에 기반한 이동 전파를 결합한다.
전역 움직임 집계
전역 움직임 집계는 영상 내 멀리 떨어진 위치의 관계를 이용해 움직임 특징을 모으는 광류 추정 구성이다. 다음 프레임에서 가려진 위치처럼 직접 대응 증거가 부족한 영역의 이동 추정을 돕는다.
FlowNet 2
FlowNet 2는 광류 추정 신경망을 쌓고 중간 이동 추정에 따른 워핑을 활용하는 방법이다. 학습 자료를 제시하는 순서와 작은 움직임을 위한 구성을 함께 다뤄 초기 FlowNet의 추정을 개선한다.
FlowNet
FlowNet은 두 영상 사이의 광류를 지도 학습으로 추정하는 합성곱 신경망이다. 영상 쌍과 정답 이동 정보를 사용해 학습하며 일반적인 영상 결합 구조와 특징 상관을 포함하는 구조를 비교해 제시했다.
PWC-Net
PWC-Net은 특징 피라미드, 워핑과 비용 볼륨을 결합해 광류를 추정하는 합성곱 신경망이다. 현재 이동 추정으로 두 번째 영상의 특징을 정렬한 뒤 남은 차이를 활용해 화소 이동을 계산한다.
RAFT 광류 추정
RAFT는 두 영상 사이의 화소 이동을 추정하는 신경망이다. 영상 특징의 모든 위치 쌍에 대한 상관 정보를 구성하고 반복 갱신 모듈로 하나의 광류장을 점진적으로 수정한다.
ALIKED
ALIKED는 관심점 주변에서 변형 가능한 위치의 특징을 모아 기술자를 추출하는 경량 네트워크다. 전체 영상의 조밀한 기술자 지도를 먼저 만드는 대신 희소 관심점에서 필요한 기술자를 계산하는 구성을 사용한다.
DISK 특징 학습
DISK는 희소 관심점의 선택과 매칭에 포함된 이산적인 과정을 확률적으로 다루는 국소 특징 학습 방법이다. 정책 기울기의 원리를 사용해 올바른 특징 대응을 많이 얻도록 전체 과정을 학습한다.
HardNet
HardNet은 영상 패치를 비교하는 국소 특징 기술자를 학습하는 방법이다. 학습 배치에서 혼동하기 쉬운 비대응 패치를 활용해 올바른 대응과 잘못된 대응 사이의 거리 여유를 확보하도록 훈련한다.
SOSNet
SOSNet은 같은 물체 부분을 나타내는 기술자들이 다른 점들과 맺는 거리 관계도 비슷하도록 학습하는 국소 기술자 방법이다. 대응 쌍 사이의 직접 거리뿐 아니라 주변과의 관계를 이용하는 이차 유사도 정규화를 사용한다.
D2-Net
D2-Net은 하나의 합성곱 신경망을 조밀한 특징 기술자와 특징 검출기로 함께 사용하는 방법이다. 낮은 수준의 구조를 먼저 검출하기보다 더 뒤 단계의 특징 표현에서 관심점을 골라 어려운 촬영 조건의 대응을 다룬다.
R2D2 특징 추출
R2D2는 관심점의 반복 검출 가능성과 기술자의 구별 가능성을 함께 학습하는 국소 특징 추출 방법이다. 눈에 띄는 지점이라도 다른 곳과 혼동하기 쉽다면 좋은 대응점이 아닐 수 있다는 점을 다룬다.
LightGlue
LightGlue는 두 영상의 국소 특징을 대응시키는 학습 기반 방법이다. 영상 쌍의 난도에 따라 추론에 쓰는 계산을 조절해 쉬운 대응 문제에서는 더 적은 비용으로 결과를 얻도록 설계한다.
SuperPoint
SuperPoint는 영상에서 관심점 위치와 해당 지점의 기술자를 함께 계산하는 학습 기반 특징 추출 방법이다. 전체 영상을 처리하는 합성곱 모델과 호모그래피 적응을 활용해 여러 관측에서 반복되는 관심점을 학습한다.
LoFTR
LoFTR는 특징점을 먼저 검출하는 단계 없이 두 영상의 대응을 찾는 방법이다. 트랜스포머로 두 영상의 문맥을 함께 반영하고 거친 해상도의 대응을 찾은 뒤 세밀한 위치로 정제한다.
SuperGlue
SuperGlue는 두 영상에서 얻은 국소 특징 집합 사이의 대응을 학습하는 신경망이다. 주의 기반 그래프 신경망으로 문맥을 모으고 미분 가능한 최적 수송을 사용해 대응과 대응할 수 없는 점을 함께 판단한다.
DUSt3R
DUSt3R는 영상 쌍에서 화소별 3차원 위치를 나타내는 포인트맵을 예측하는 기하 복원 방법이다. 카메라 보정과 자세를 미리 입력하지 않고 장면의 공간 정보를 추정하며 여러 영상의 결과를 공통 좌표계에 정렬한다.
MASt3R
MASt3R는 3차원 포인트맵 예측에 조밀한 국소 특징을 결합해 영상 사이의 대응을 찾는 방법이다. DUSt3R의 기하 복원 틀을 확장하고 빠른 상호 대응 탐색으로 조밀한 매칭의 비용을 줄인다.
FreeNeRF
FreeNeRF는 입력 영상이 적을 때 신경 방사장의 주파수 범위와 카메라 근처의 밀도를 정규화하는 방법이다. 적은 관측에 고주파 세부 표현을 지나치게 맞추는 문제와 가까운 공간의 잘못된 밀도를 함께 다룬다.
SimpleNeRF
SimpleNeRF는 더 단순한 보조 모델에서 얻은 깊이 추정으로 소수 입력 영상의 신경 방사장 학습을 돕는 방법이다. 보조 모델과 주 모델을 함께 학습하며 신뢰할 수 있는 깊이만 선택해 제약에 사용한다.
MVSNeRF
MVSNeRF는 다중 시점 스테레오의 비용 볼륨을 활용해 소수의 영상에서 신경 방사장을 추정하는 방법이다. 영상 간 기하 관계를 나타내는 특징과 볼륨 렌더링을 결합하고 여러 장면에 적용되는 모델을 학습한다.
RegNeRF
RegNeRF는 입력 영상이 적을 때 신경 방사장에 나타나는 형상과 외관 오류를 줄이려는 학습 방법이다. 관측하지 않은 시점에서 렌더링한 패치에 제약을 적용하고 학습 중 광선 표본 범위를 점진적으로 조절한다.
NeRF-Casting
NeRF-Casting은 방사장 안에서 반사 광선을 추적해 반짝이는 물체의 외관을 합성하는 방법이다. 반사 경로를 따라 얻은 특징을 작은 신경망으로 색에 변환해 가까운 물체의 반사도 일관되게 다루려 한다.
Ref-NeRF
Ref-NeRF는 반사에 의해 시점마다 달라지는 물체의 외관을 구조화해 표현하는 신경 방사장 방법이다. 반사 방향과 공간별 성질을 활용하고 법선 벡터에 대한 제약을 함께 사용해 광택 표현을 다룬다.
IBRNet
IBRNet은 여러 입력 시점의 영상에서 정보를 가져와 새로운 시점의 영상을 합성하는 방법이다. 장면마다 독립된 함수를 처음부터 최적화하는 대신 여러 장면에 적용할 수 있는 시점 보간 함수를 학습한다.
pixelNeRF
pixelNeRF는 한 장 또는 소수의 입력 영상에 조건화된 신경 방사장을 예측하는 방법이다. 여러 장면에서 학습한 사전 지식과 입력 영상의 공간 특징을 함께 활용해 관측하지 않은 시점의 영상을 합성한다.
BARF
BARF는 신경 방사장의 장면 표현과 카메라 위치·방향을 함께 최적화하는 방법이다. 정확하지 않은 카메라 자세에서 시작할 때 거친 구조부터 정렬하고 점차 세부 표현을 활성화해 학습한다.
HyperNeRF
HyperNeRF는 장면의 연결 구조가 달라지는 변화를 다루기 위해 방사장 표현을 더 높은 차원으로 확장하는 방법이다. 각 순간의 장면을 고차원 표현의 단면으로 나타내어 새로운 시점과 순간의 영상을 합성한다.
D-NeRF
D-NeRF는 시간에 따라 움직이는 장면을 표현하도록 신경 방사장을 확장한 방법이다. 기준 공간의 표현과 시간별 변형을 함께 학습해 카메라 시점과 시간을 바꾸며 영상을 합성한다.
Nerfies
Nerfies는 사진이나 영상에서 변형하는 대상을 신경 방사장으로 복원하는 방법이다. 관측 공간의 점을 공통 기준 공간으로 옮기는 연속적인 변형장을 학습하고 이를 통해 새 시점 영상을 만든다.
HexPlane
HexPlane은 움직이는 3차원 장면을 공간과 시간을 포함하는 여섯 특징 평면으로 표현하는 방법이다. 평면에서 추출한 특징을 결합하고 작은 신경망과 볼륨 렌더링을 사용해 새 시점 영상을 합성한다.
K-Planes
K-Planes는 여러 차원의 좌표로 표현되는 장면을 좌표축 쌍에 대응하는 특징 평면들로 나누는 방사장 방법이다. 정적인 공간뿐 아니라 시간에 따라 변하는 장면도 같은 분해 원리로 다룬다.
MERF
MERF는 희소한 공간 격자와 고해상도 평면 특징을 결합해 큰 장면을 효율적으로 표현하는 방사장 방법이다. 브라우저에서 새 시점 영상을 그릴 수 있도록 학습 표현을 실행용 형태로 변환한다.
SNeRG
SNeRG는 학습된 신경 방사장의 정보를 희소 격자에 미리 저장해 새 시점 영상을 빠르게 그리는 표현이다. 매번 큰 신경망을 반복 조회하는 부담을 줄이면서 시점에 따라 달라지는 외관을 표현한다.
SMERF
SMERF는 큰 장면을 브라우저에서 이동하며 볼 수 있도록 설계한 방사장 표현 방법이다. 장면을 계층적으로 나누고 증류 학습을 사용해 표현 용량과 실행 시 계산·메모리 부담 사이의 균형을 다룬다.
Zip-NeRF
Zip-NeRF는 격자 기반 방사장의 빠른 학습과 공간 규모를 고려한 앤티앨리어싱을 결합하는 시점 합성 방법이다. 한 점의 특징만 읽는 대신 광선 주변 영역의 크기를 고려해 세부 구조의 불안정한 표현을 줄인다.
HeadSculpt
HeadSculpt는 텍스트로 3차원 머리 아바타를 생성하고 편집하는 방법이다. 머리의 방향과 구조를 고려한 생성 과정 및 정체성을 유지하려는 편집 과정을 결합해 질감이 있는 메시를 만든다.
Mip-Splatting
Mip-Splatting은 카메라 거리나 초점 거리가 달라질 때 3D 가우시안 스플래팅에서 나타나는 샘플링 문제를 줄이는 방법이다. 공간상의 가우시안과 화면상의 필터를 함께 다뤄 여러 배율에서 장면을 표현한다.
NeuS
NeuS는 여러 시점의 영상으로부터 부호 거리 함수 형태의 표면을 학습하는 방법이다. 거리 함수의 영점과 영상 합성에서 나타나는 표면 위치 사이의 편향을 줄이도록 볼륨 렌더링을 구성한다.
VolSDF
VolSDF는 부호 거리 함수로 장면의 표면을 표현하고 이를 밀도로 변환해 영상을 렌더링하는 방법이다. 여러 시점의 사진에 맞춰 형상과 외관을 학습하며 표면을 거리 함수의 영점으로 다룬다.
3D 가우시안 스플래팅
3D 가우시안 스플래팅은 위치와 형태, 불투명도 및 색 정보를 갖는 3차원 가우시안들로 장면을 표현하고 영상에 투영하는 시점 합성 방법이다. 가우시안의 속성과 개수를 조절하며 관측 영상에 맞춘다.
TensoRF
TensoRF는 장면의 공간별 특징을 텐서로 보고 작은 저랭크 인자들로 분해해 방사장을 표현하는 방법이다. 조밀한 격자 전체를 직접 저장하는 부담을 줄이면서 시점 합성에 사용한다.
Plenoxels
Plenoxels는 희소한 3차원 격자와 구면 조화 함수를 이용해 방사장을 표현하는 시점 합성 방법이다. 신경망 없이 격자의 밀도와 방향별 색 표현을 영상에 맞춰 최적화한다.
Instant-NGP
Instant-NGP는 여러 해상도의 해시 특징 테이블과 작은 신경망을 결합해 그래픽 신호를 표현하는 방법이다. 학습 가능한 격자 특징으로 좌표를 부호화해 큰 신경망의 계산 부담을 줄인다.
Mip-NeRF
Mip-NeRF는 한 픽셀의 광선을 폭이 없는 선이 아니라 유한한 범위의 원뿔대 구간으로 다루는 신경 방사장 방법이다. 영상 해상도와 관찰 거리가 달라질 때 나타나는 앨리어싱을 완화한다.
NeRF
NeRF는 공간 위치와 관찰 방향에서 밀도와 색을 계산하는 신경 방사장으로 장면을 표현하는 방법이다. 여러 카메라 영상으로 학습하고 새로운 시점의 영상을 합성한다.
SIREN
SIREN은 사인과 같은 주기 활성함수를 사용하는 좌표 기반 신경망 표현이다. 위치나 시간에서 신호값을 계산하고 그 미분도 다루도록 구성한다.
푸리에 특징 매핑
푸리에 특징 매핑은 좌표 입력을 여러 주파수의 사인과 코사인 특징으로 바꾸는 방법이다. 낮은 차원의 좌표에서 빠르게 변하는 함수를 신경망이 학습하도록 돕는 데 사용한다.
Net2Net
Net2Net은 이미 학습한 신경망의 함수를 유지하는 변환으로 더 넓거나 깊은 모형을 초기화하는 방법이다. 새 구조를 매번 무작위로 시작하는 대신 기존 학습 결과를 활용한다.
네트워크 모피즘
네트워크 모피즘은 학습된 신경망의 구조를 바꾸면서 변환 직후의 입출력 함수를 유지하는 접근이다. 기존 모형의 지식을 새 구조의 초기 상태로 옮겨 추가 학습을 돕는다.