문서 둘러보기
Mr TyDi
Mr TyDi는 열한 언어에서 학습한 밀집 표현의 검색 순위를 평가하는 벤치마크다. 언어별 질의와 같은 언어의 문서를 검색하며 비영어 검색과 희소·밀집 혼합의 효과를 연구한다.
LAMAR 다국어 재순위화
LAMAR는 다국어 문서 검색에서 의미 관련성과 언어 일관성을 함께 고려하는 재순위화 모델이다. 의미가 비슷한 후보들 사이에서 질의와 같은 언어의 문서를 우선하도록 학습한다.
LaMAR 증강 현실 평가
LaMAR는 실제 증강 현실 장치의 위치 추정과 지도 작성을 평가하는 벤치마크다. 머리에 쓰거나 손에 든 장치로 이동하며 얻은 센서 시퀀스를 레이저 스캔에 맞춰 기준 궤적을 구성한다.
HF-Net
HF-Net은 하나의 합성곱 신경망에서 전역 장소 기술자와 국소 특징을 함께 예측하는 계층적 위치 추정 방법이다. 장소 후보를 먼저 검색하고 후보 안에서 세부 대응을 구해 여섯 자유도의 자세를 추정한다.
정합용 영상 쌍 검색 평가
정합용 영상 쌍 검색 평가는 장소 인식 모델을 서로 다른 영상 집합의 대응 후보를 찾는 앞단으로 비교한 연구다. 검색기의 장점이 실내와 실외, 주행 장면에서 어떻게 달라지는지 분석한다.
ACE 좌표 인코딩
ACE는 장면과 무관한 영상 특징 추출기와 장면별 좌표 예측 헤드를 나눠 빠르게 학습하는 카메라 재위치 추정 방법이다. 많은 시점을 함께 최적화하고 재투영 손실의 학습 순서를 구성한다.
DSAC
DSAC는 RANSAC의 가설 선택을 확률적으로 바꿔 학습 가능한 정합 절차에 연결하는 방법이다. 출력 자세의 기대 손실을 최소화하도록 카메라 위치 추정 모델을 학습한다.
MapNet 카메라 위치 추정
MapNet은 지도를 신경망 표현으로 학습하고 영상과 이동·위치 단서를 결합하는 카메라 위치 추정 방법이다. 관측 사이의 기하 제약을 학습 손실과 추론에 사용하고 무표지 영상으로 지도 표현을 갱신한다.
PoseNet 카메라 위치 추정
PoseNet은 한 장의 RGB 영상에서 카메라의 위치와 방향을 회귀하는 합성곱 신경망이다. 영상 분류에서 학습한 표현을 전이해 여섯 자유도의 재위치 추정을 학습한다.
BoQ 장소 인식
BoQ는 학습 가능한 전역 쿼리가 영상 특징을 교차 주의로 조사해 장소 표현을 만드는 방법이다. 입력에서 매번 쿼리를 생성하는 대신 공유된 쿼리 집합으로 장소별 단서를 모은다.
MegaLoc
MegaLoc은 장소 인식과 랜드마크 검색, 시각적 위치 추정 등 여러 작업을 함께 겨냥한 영상 검색 모델이다. 다양한 기법과 학습 전략, 자료를 결합해 작업이 달라질 때도 활용할 수 있는 검색 표현을 학습한다.
AnyLoc
AnyLoc은 장소 인식에 따로 미세 조정하지 않은 자기 지도 모델의 특징을 활용하는 방법 모음이다. 범용 특징과 비지도 집계를 결합해 도시 밖의 다양한 관측 환경까지 장소 검색을 확장하려 한다.
SALAD 장소 인식
SALAD는 국소 특징을 전역 장소 기술자로 모으는 과정을 최적 수송으로 구성하는 방법이다. 정보가 적은 특징을 별도 군집으로 보낼 수 있게 하고, DINOv2 특징을 미세 조정해 활용한다.
EigenPlaces
EigenPlaces는 같은 관심 지점을 다른 시점에서 본 영상을 학습에 제시하는 장소 인식 방법이다. 학습 자료를 군집화해 관측 방향 변화에 강한 전역 기술자를 만들도록 한다.
MixVPR
MixVPR은 사전 학습 특징 지도 안의 전역 관계를 연속적으로 섞어 장소 표현을 만드는 집계 방법이다. 국소·피라미드 집계 대신 전체 특징의 혼합으로 시각적 장소 검색을 수행한다.
CosPlace
CosPlace는 사진 기반 위치 추정의 학습을 분류 문제로 구성하는 방법이다. 대규모 영상 자료에서 대조 학습의 복잡한 예제 마이닝 부담을 줄이고 장소 검색용 표현을 학습한다.
Patch-NetVLAD
Patch-NetVLAD는 NetVLAD 잔차에서 패치 특징을 만들고 여러 크기의 특징을 융합하는 장소 인식 방법이다. 사진 전체의 집계 표현과 국소 대응의 장점을 결합해 외관과 시점 변화를 다룬다.
MinkLoc3D
MinkLoc3D는 희소 복셀과 희소 삼차원 합성곱으로 장소 인식용 점군 기술자를 학습하는 모델이다. 순서 없는 점의 처리에서 출발하는 방식과 달리 복셀화한 공간의 국소 기하를 활용한다.
SOE-Net 장소 인식
SOE-Net은 점의 여러 방향 정보와 먼 지점 사이의 문맥을 결합하는 점군 장소 인식 모델이다. 방향 부호화와 자기 주의를 사용해 국소 기술자에 점 사이의 관계를 반영한다.
NetVLAD
NetVLAD는 장소 인식을 위해 국소 영상 특징을 모으는 학습 가능한 집계 층이다. 합성곱 신경망과 함께 역전파로 학습하며, 시간이 달라도 같은 장소를 나타내는 영상들을 순위 학습에 활용한다.
PointNetVLAD
PointNetVLAD는 삼차원 점군을 전역 기술자로 바꿔 장소를 검색하는 신경망이다. PointNet과 NetVLAD를 결합하고 검색용 손실을 이용해 서로 다른 장소를 구별하는 표현을 학습한다.
Boreas 주행 데이터셋
Boreas는 일 년 동안 같은 경로를 반복 주행하며 계절과 날씨의 변화를 기록한 자율주행 데이터셋이다. 라이다와 주사 레이더, 카메라 및 후처리 자세 정답으로 위치 추정과 객체 인지를 연구한다.
HeLiPR
HeLiPR은 서로 다른 라이다 사이의 장소 인식을 연구하기 위한 데이터셋이다. 회전식과 비반복 주사식 센서의 차이, 시야와 광선 수의 차이, 시간과 환경의 변화를 함께 다룬다.
A2D2
A2D2는 아우디의 주행 관측으로 구성한 다중 센서 인지 데이터셋이다. 영상과 삼차원 점군을 동기화해 제공하고 객체 상자와 의미·인스턴스 분할, 차량 버스 정보를 함께 다룬다.
Cityscapes
Cityscapes는 도시 도로 영상의 픽셀과 객체 인스턴스에 의미 표지를 붙인 데이터셋이다. 여러 도시의 스테레오 영상과 정밀·거친 주석을 통해 복잡한 거리 장면의 이해를 평가한다.
BDD100K
BDD100K는 다양한 주행 영상에서 서로 다른 인지 작업을 함께 연구하는 데이터셋이다. 지역과 환경, 날씨의 차이를 포함한 영상 자료를 바탕으로 이질적인 다중 작업 학습을 평가한다.
KITTI-360
KITTI-360은 이차원 영상과 삼차원 점군에 일관된 의미·인스턴스 표지를 연결한 주행 데이터셋이다. 장면 이해와 새로운 시점 합성, 의미 정보를 활용한 지도 작성 연구를 같은 관측 자료에서 다룬다.
PandaSet
PandaSet은 서로 다른 두 라이다와 여섯 카메라의 주행 관측을 포함하는 자율주행 인지 데이터셋이다. 삼차원 객체와 점의 의미 표지를 이용해 단일 센서와 융합 인지 모델을 비교하도록 제안됐다.
SemanticKITTI
SemanticKITTI는 KITTI 주행 거리계 시퀀스의 라이다 점에 의미 표지를 붙인 데이터셋이다. 단일 스캔과 과거 여러 스캔의 의미 분할, 의미 장면 완성을 연구하도록 구성됐다.
KITTI
KITTI는 실제 주행 관측으로 컴퓨터 비전 알고리즘을 평가하는 벤치마크 모음이다. 스테레오와 광학 흐름, 주행 거리계, 삼차원 객체 검출과 추적 등 여러 작업을 별도 기준으로 평가한다.
nuScenes
nuScenes는 카메라와 라이다, 레이더를 함께 제공하는 자율주행 인지 데이터셋이다. 주변을 둘러보는 다중 센서 관측과 삼차원 객체 표지로 검출과 추적을 연구하도록 구성됐다.
Argoverse 2
Argoverse 2는 자율주행 인지와 운동 예측 연구를 위한 데이터셋 모음이다. 표지가 있는 센서 관측, 표지가 없는 라이다 시퀀스, 상호작용 중심의 운동 예측 시나리오를 구분해 제공한다.
Waymo Open Dataset
Waymo Open Dataset은 자율주행 인지 연구를 위한 라이다·카메라 관측 자료다. 여러 도시와 교외 환경의 동기화된 센서 관측과 객체 표지를 제공해 검출과 추적, 지역 간 일반화를 연구하도록 구성됐다.
RAFT-3D
RAFT-3D는 스테레오 또는 RGB-D 영상 쌍에서 픽셀별 삼차원 운동을 추정하는 신경망이다. 픽셀을 강체 운동 집단으로 부드럽게 묶고, 기하 일관성을 반영해 운동장을 반복 갱신한다.
약한 지도 강체 장면 흐름
약한 지도 강체 장면 흐름은 장면을 여러 강체의 운동으로 설명해 흐름 정답의 부담을 줄이는 학습 방법이다. 배경 마스크와 자차 운동을 감독 신호로 사용하고 객체 수준의 구조와 점별 흐름을 함께 추정한다.
SCOOP 장면 흐름
SCOOP는 점의 대응 표현을 학습한 뒤 관측 처리 중 흐름을 최적화하는 장면 흐름 추정 방법이다. 정답 흐름 없이 학습한 부드러운 대응으로 초기 운동을 구하고 자기 지도 목적에 따라 정교화한다.
ZeroFlow
ZeroFlow는 정답 표지가 없는 점군에서 최적화로 만든 의사 표지를 순전파 모델에 증류하는 장면 흐름 학습 방법이다. 사람이 표시한 흐름 정답 없이 대규모 관측 자료를 활용한다.
FastFlow3D
FastFlow3D는 실제 라이다의 전체 점군에서 장면 흐름을 추정하도록 제안된 신경망이다. 추적된 삼차원 객체에서 만든 대규모 흐름 자료와 실제 관측을 반영한 평가 지표를 함께 다룬다.
신경 장면 흐름 사전
신경 장면 흐름 사전은 신경망 구조를 암묵적인 정규화로 사용해 관측 시점에 장면 흐름을 최적화하는 방법이다. 별도의 오프라인 학습 자료 대신 현재 점군에서 연속적인 운동 표현을 구한다.
FLOT 장면 흐름
FLOT는 최적 수송으로 점군 사이의 대응을 구해 장면 흐름을 추정하는 방법이다. 학습한 특징의 유사도를 수송 비용으로 사용하고 실제 관측의 불완전성을 고려해 수송 제약을 완화한다.
PointPWC-Net
PointPWC-Net은 점군의 장면 흐름을 성긴 수준에서 세밀한 수준으로 추정하는 신경망이다. 점 기반 비용 볼륨과 업샘플링, 워핑을 이용해 큰 움직임의 탐색 범위를 다룬다.
FlowNet3D
FlowNet3D는 점군에서 점의 삼차원 움직임인 장면 흐름을 직접 학습하는 신경망이다. 계층적인 점 특징과 운동을 나타내는 흐름 임베딩을 함께 구성한다.
HPLFlowNet
HPLFlowNet은 희소한 순열다면체 격자에서 대규모 점군의 장면 흐름을 추정하는 신경망이다. 연속한 두 관측의 정보를 결합하고 비정형 점 집합에 구조적인 연산을 적용한다.
CoFiI2P
CoFiI2P는 영상과 점군의 성긴 영역 대응을 먼저 구한 뒤 픽셀·점 대응으로 정교화하는 정합 네트워크다. 전체적인 문맥의 안내를 세밀한 매칭에 전달해 상대 변환을 추정한다.
CorrI2P
CorrI2P는 영상과 점군의 겹치는 영역에서 조밀한 이차원·삼차원 대응을 구하는 정합 모델이다. 공통 특징 표현과 대칭적인 겹침 검출을 거쳐 카메라 자세를 추정한다.
DeepI2P
DeepI2P는 색상 영상과 점군 사이의 상대 자세를 분류와 역투영 최적화로 구하는 방법이다. 각 점이 카메라의 시야 안에 투영되는지를 먼저 분류해 서로 다른 센서 좌표계를 정렬한다.
PCR-CG
PCR-CG는 색상 영상에서 배운 특징을 삼차원 기하 표현에 명시적으로 연결하는 점군 정합 모듈이다. 표면 모양뿐 아니라 영상의 무늬도 겹침과 대응을 판단하는 단서로 활용한다.
BUFFER-X
BUFFER-X는 새로운 장면의 축척과 관측 조건에 맞춰 점군 정합의 매개변수와 표본을 구성하는 방법이다. 환경별 수작업 조정을 줄이기 위해 다중 규모 패치와 계층적인 정상 대응 탐색을 사용한다.
D3Former
D3Former는 다시 찾기 쉬운 키포인트와 구별력 있는 점 특징을 함께 학습하는 정합용 트랜스포머다. 현저성으로 유도한 주의를 이용해 검출의 반복 가능성과 기술자의 표현을 함께 개선한다.
HRegNet 점군 정합
HRegNet은 대규모 실외 라이다 점군에서 계층적으로 고른 키포인트와 기술자로 정합하는 신경망이다. 깊은 층의 신뢰할 만한 특징과 얕은 층의 정밀한 위치 정보를 결합한다.
MemReg 점군 정합
MemReg는 연속된 라이다 관측의 기억을 이용하는 다중 프레임 정합 네트워크다. 특징과 자세의 두 기억 버퍼를 갱신하고 과거 정보와 현재 관측을 적응적으로 결합한다.
RoITr
RoITr는 점군 대응에서 회전에 불변인 국소·전역 기하 표현을 구성하는 트랜스포머다. 회전한 학습 예시를 늘리는 방법만으로 얻기 어려운 자세 변화 대응 능력을 구조적으로 다룬다.
RoReg
RoReg는 방향 정보를 가진 기술자와 국소 회전 추정값을 정합의 여러 단계에 활용하는 점군 정합 프레임워크다. 특징 생성과 검출, 대응 선택, 변환 추정을 회전 정보로 연결한다.
OPRNet
OPRNet은 부분적으로만 보이는 두 점군의 대응을 한 번의 정합 구성으로 계산하는 학습 모델이다. 최적 수송 층에 이상점 구획을 두어 다른 관측에서 짝이 없는 점을 처리한다.
ReAgent 점군 정합
ReAgent는 점군을 반복적으로 맞추는 과정을 강화 학습 문제로 다루는 정합 에이전트다. 모방 학습으로 초기 정책을 만들고 정렬 보상을 이용한 정책 최적화로 동작을 개선한다.
Lepard 점군 대응
Lepard는 강체 장면과 변형되는 장면에서 부분 점군의 대응을 학습하는 방법이다. 특징 표현과 삼차원 위치를 분리하고, 상대 거리와 관측 사이의 위치 조정을 대응 계산에 반영한다.
SC2-PCR
SC2-PCR은 이차 공간 호환성으로 점 대응의 합의 집합을 찾아 강체 정합을 수행하는 방법이다. 전체 대응의 호환 관계에서 신뢰할 만한 시작점을 고르고, 각 집합이 제안하는 변환을 비교한다.
OMNet 점군 정합
OMNet은 두 점군에서 겹치는 부분을 마스크로 찾아 정합하는 전역 특징 기반 반복 모델이다. 공통으로 보이지 않는 점들이 전체 특징에 섞여 정렬을 방해하는 문제를 다룬다.
PRNet 부분 정합
PRNet은 서로 다른 부분만 보이는 두 점군을 정렬하기 위한 자기 지도 학습 모델이다. 부분 관측 사이에서 공통으로 나타나는 키포인트와 그 대응, 기하 표현을 함께 학습한다.
DeepGMR
DeepGMR은 점군을 가우시안 혼합 모형과 연결해 확률 분포 사이의 정합을 학습하는 모델이다. 개별 점 쌍의 대응만 다루는 대신, 혼합 분포의 매개변수에서 정렬 변환을 구한다.
DGR 삼차원 정합
DGR은 대응 신뢰도 예측과 가중 자세 계산, 자세 정교화를 연결한 삼차원 정합 프레임워크다. 실제 스캔 두 개를 맞추는 절차를 미분 가능한 구성 요소로 설계했다.
DCP 점군 정합
DCP는 특징 임베딩과 주의 기반 대응, 미분 가능한 특잇값 분해를 연결하는 점군 정합 모델이다. 두 점군을 맞추는 회전과 이동을 신경망 안에서 추정하도록 구성한다.
PointNetLK
PointNetLK는 PointNet의 학습 특징과 Lucas-Kanade 정렬을 결합한 점군 정합 방법이다. 영상 정렬에 쓰이던 반복 계산을 점군의 특징 표현에 적용하고, 하나의 학습 가능한 순환 신경망으로 구성한다.
REGTR
REGTR는 트랜스포머로 두 점군의 겹침 확률과 대응 위치를 직접 예측하는 삼차원 정합 모델이다. 특징을 따로 최근접 매칭한 뒤 이상 대응을 제거하는 대신, 최종 변환에 사용할 대응을 신경망에서 구한다.
RPM-Net 점군 정합
RPM-Net은 학습한 좌표·기하 특징에서 부드러운 점 대응을 구하는 강체 정합 모델이다. Sinkhorn 층과 어닐링을 결합해 초기 자세와 잘못된 대응에 대한 민감도를 줄이는 접근을 제시한다.
3DFeat-Net
3DFeat-Net은 위치와 관성 정보가 붙은 점군에서 국소 특징 검출기와 기술자를 학습하는 모델이다. 대응하는 점 집합을 사람이 일일이 표시하는 대신, 약한 감독과 주의 기제를 이용한다.
PointDSC
PointDSC는 공간적으로 일관된 점 대응을 찾아 삼차원 정합의 이상 대응을 제거하는 신경망이다. 특징의 유사성과 기하적 호환성을 결합하고, 미분 가능한 스펙트럴 매칭으로 정상 대응의 신뢰도를 추정한다.
CoFiNet 점군 정합
CoFiNet은 별도의 키포인트 검출 없이 성긴 대응을 점 수준의 대응으로 정교화하는 점군 정합 모델이다. 영역의 겹침과 점 밀도를 고려해 단계적으로 대응 탐색 범위를 줄인다.
MS-SVConv와 UDGE
MS-SVConv와 UDGE는 점군 정합용 특징 학습과 새로운 자료에 대한 비지도 전이를 결합한 방법이다. 다중 규모 희소 복셀 합성곱으로 기술자를 만들고, 다른 관측 자료에서도 그 표현을 활용하도록 적응시킨다.
D3Feat
D3Feat는 삼차원 점마다 특징 벡터와 검출 점수를 함께 예측하는 모델이다. 점군 정합에 유용한 지점을 고르는 과정과 그 지점을 서로 비교하는 표현 학습을 결합한다.
SpinNet 점군 특징
SpinNet은 점군의 국소 표면을 원통형 공간으로 옮겨 정합용 특징을 추출하는 신경망이다. 회전에 따른 표현의 변화를 구조적으로 다루면서 서로 다른 관측의 표면을 비교할 수 있게 한다.
GETr 점군 정합
GETr는 점마다 학습한 방향과 기하 등변 주의를 이용하는 삼차원 점군 정합 모델이다. 관측 자세에 따라 달라지는 좌표의 영향을 줄이면서, 영역 사이의 대응을 세밀한 점 대응으로 확장한다.
변분 베이즈 이상 대응 제거
변분 베이즈 이상 대응 제거는 삼차원 정합에서 잘못 연결된 점 대응을 걸러내는 학습 방법이다. 비국소 특징을 확률 분포로 표현하고, 변분 학습과 투표 기반 탐색으로 정합을 지지하는 대응 집합을 찾는다.
MAC 극대 클리크 정합
MAC는 점 대응의 호환성 그래프에서 극대 클리크를 찾아 삼차원 정합 가설을 구성하는 방법이다. 하나의 최대 집단만 찾기보다 여러 국소 합의 집합에서 가능한 변환을 비교한다.
GeoTransformer
GeoTransformer는 점 사이의 거리와 세 점의 각도를 이용해 점군의 기하 문맥을 학습하는 정합 모델이다. 대표점 주변 영역의 대응을 먼저 구하고 이를 세밀한 점 대응으로 전달한다.
3DMatch
3DMatch는 부분적으로 관측된 삼차원 자료 사이의 대응을 찾기 위해 지역 체적 패치의 특징을 학습하는 방법이다. 실제 RGB-D 재구성에서 얻은 대응 정보로 잡음과 누락이 있는 기하를 비교한다.
PREDATOR 점군 정합
PREDATOR는 두 점군이 적게 겹치는 상황에서도 대응점을 찾도록 겹침 영역을 고려하는 정합 모델이다. 두 입력의 잠재 표현을 일찍 교환해 서로에게 유용한 지점을 선택한다.
CAOA
CAOA는 불완전한 물체 점군을 완성하는 과정과 대칭을 고려하는 자세 추정을 결합해 CAD 모델을 정렬하는 방법이다. 실제 실내 스캔의 누락과 잡음 및 분할 오류가 만드는 기하 왜곡을 다룬다.
MMFE 평면도 인코더
MMFE는 CAD 도면과 래스터 영상, 센서 기반 밀도 지도처럼 표현 방식이 다른 평면도를 공통 특징 격자로 변환하는 모델이다. 공간적으로 대응하는 영역을 정렬해 정합과 검색에 활용한다.
RoomFormer
RoomFormer는 삼차원 스캔에서 여러 방의 이차원 평면도를 다각형 집합으로 복원하는 트랜스포머다. 방을 나타내는 다각형과 그 꼭짓점을 두 수준의 질의로 예측한다.
Structured3D
Structured3D는 실내 설계에서 추출한 삼차원 구조 주석과 사실적인 렌더링 영상을 제공하는 합성 자료다. 선과 평면, 접합점 등 장면의 구조를 학습하고 방 배치를 추정하는 연구에 활용한다.
ARKitScenes
ARKitScenes는 모바일 RGB-D 관측으로 수집한 실제 실내 장면 이해 자료다. 모바일 장치의 원시 및 처리 자료에 고정식 레이저 스캐너의 고해상도 깊이 정보와 사람이 표시한 삼차원 물체 상자를 함께 제공한다.
MultiScan
MultiScan은 움직이는 부품이 있는 물체를 포함한 실내 환경을 모바일 RGB-D로 스캔하고 주석하는 자료 체계다. 물체와 부품의 의미 및 부품이 어떻게 움직이는지를 여러 상태의 장면에 연결한다.
3DSSG
3DSSG는 삼차원 장면의 물체와 관계를 의미 그래프로 표현한 주석 자료다. 함께 제안된 모델은 점군에서 물체와 관계를 예측하고 그래프를 장면 검색의 중간 표현으로 활용한다.
SceneVerse
SceneVerse는 삼차원 실내 장면과 언어 설명의 학습 규모를 확장한 자료다. 사람의 주석과 장면 그래프 기반 생성으로 시각 언어 쌍을 구성하고 장면을 위한 통합 사전 학습을 지원한다.
CrossWeave
CrossWeave는 이차원 영상에서 대응하는 삼차원 장면이나 물체를 찾는 검색 방법이다. 희소한 영상 패치와 점군의 대응을 학습해 장면 수준과 인스턴스 수준 검색을 하나의 모델로 다룬다.
ReScene4D
ReScene4D는 간헐적으로 촬영한 실내 삼차원 스캔에서 물체 영역과 의미 범주를 구분하고 같은 인스턴스의 정체성을 시간에 걸쳐 유지하는 방법이다. 관측 사이의 이동과 출현 및 이탈을 함께 다룬다.
3RScan과 RIO
3RScan은 같은 실내 환경을 여러 시점에 다시 스캔해 물체의 위치 변화를 담은 자료다. RIO는 이전 스캔의 특정 물체가 이후 스캔에서 어디에 놓였는지 자세를 추정하는 과제와 방법이다.
ShapeNet
ShapeNet은 다양한 물체의 삼차원 CAD 모델을 의미 범주와 주석으로 조직한 자료 모음이다. 모양 자체뿐 아니라 정렬과 부품, 대칭과 크기 같은 속성을 연결해 기하 분석과 컴퓨터 비전 연구에 활용한다.
Scan2CAD 삼차원 정렬
Scan2CAD는 불완전하고 잡음이 있는 RGB-D 스캔에 정돈된 CAD 물체 모델을 정렬하는 방법이다. 실제 스캔과 합성 물체 사이의 대응점을 학습하고 각 모델의 자세를 예측한다.
Scan2Cap
Scan2Cap은 삼차원 점군 장면의 물체를 찾고 각각을 자연어로 설명하는 방법이다. 물체의 특징과 주변 대상의 관계를 학습해 경계 상자 및 설명 문장을 함께 출력한다.
3D-SceneQ
3D-SceneQ는 질의에 맞는 삼차원 물체 토큰을 고르고 이차원 특징으로 의미 정보를 보강하는 언어 모델이다. 불필요한 대상 정보의 잡음을 줄이는 선택과 물체 표현의 풍부함을 함께 다룬다.
MoE3D
MoE3D는 전문가 혼합 구조로 서로 다른 모달리티의 특징을 결합하는 삼차원 이해 모델이다. 특정 모달리티나 교차 모달 상호작용을 맡는 전문가를 구성하고 선택적으로 정보를 처리한다.
3D-VisTA
3D-VisTA는 삼차원 시각 정보와 텍스트의 정렬을 사전 학습하는 트랜스포머다. 단일 모달리티의 표현과 다중 모달 융합에 셀프 어텐션을 사용하고 여러 장면 이해 과제로 전이한다.
SAT 이차원 의미 보조 학습
SAT는 삼차원 지시 해석 모델을 학습할 때 이차원 물체의 의미 정보를 보조 신호로 사용하는 방법이다. 학습에서 영상과 점군 및 언어를 정렬하고 추론에서는 추가 이차원 입력을 요구하지 않는다.
B2N3D
B2N3D는 물체 두 개 사이의 관계에서 여러 물체의 관계로 학습 범위를 넓히는 삼차원 지시 해석 방법이다. 자연어 설명에 맞는 관계 조합을 장면 전체에서 찾고 그 안에서 목표 물체를 식별한다.
HCF-RES
HCF-RES는 자연어 설명에 맞는 삼차원 물체 영역을 찾기 위해 이차원 의미 정보와 삼차원 기하 정보를 계층적으로 융합하는 방법이다. 대상이 여러 개이거나 없는 경우도 포함하는 일반화 지시 분할을 다룬다.
GuideGround
GuideGround는 영상 언어 모델을 이용해 삼차원 지시 해석의 의미 정보와 시점별 검증을 보완하는 방법이다. 물체 설명을 생성하고 각 시점의 목표 가설을 유지해 후보 관점에서 다시 확인한다.
SSR3D-LLM
SSR3D-LLM은 잠재 공간 추론 단계를 순서대로 이용해 삼차원 물체 후보의 순위를 조정하는 모델이다. 관계를 포함한 지시를 한 번의 선택으로 압축할 때 놓치기 쉬운 문맥을 단계적으로 반영한다.
MV-ScanQA와 TripAlign
MV-ScanQA는 여러 시점의 정보를 결합해야 하는 삼차원 질문 응답 자료다. 함께 제안된 TripAlign은 이차원 보기와 삼차원 물체 집합, 텍스트를 연결하는 사전 학습 자료로 여러 대상의 문맥 정렬을 다룬다.