위키득계정 ↗
기술

3DETR

3DETR기술
관련 논문
An End-to-End Transformer Model for 3D Object Detection
명칭
3DETR
입력
3차원 점군
주요 구성
트랜스포머와 위치 임베딩
3DETR는 점군에서 물체를 검출하는 트랜스포머 기반 모델이다. 비매개변수 질의와 푸리에 위치 임베딩을 사용해 3차원 입력의 공간 정보를 다루고 물체 경계 상자와 범주를 예측한다.

일반적인 블록의 활용

점군 검출에는 복셀이나 투표 등 전용 연산이 사용되기도 한다. 3DETR는 기본 트랜스포머를 비교적 적게 수정한 구성으로 점군 검출을 다룬다. 3차원 기하가 필요 없다는 뜻이 아니라 공간 정보를 어떤 형태로 모델에 전달할지의 선택이다.

위치의 표현

푸리에 위치 임베딩은 좌표의 변화를 여러 주파수의 함수 값으로 나타낼 수 있다. 예를 들어 sin(2πx)는 x=0과 x=1에서 모두 0이다. 한 성분만으로는 서로 다른 위치를 구별할 수 없으므로 이 예를 실제 임베딩 전체의 유일성 보장으로 해석해서는 안 된다.

질의와 검출 결과

질의는 물체 후보의 정보를 모아 결과를 예측하는 역할을 한다. 모델 내부의 질의 수와 실제 장면의 물체 수는 다른 개념이다. 모든 질의가 서로 다른 실제 물체를 검출했다고 볼 수 없고 비물체 예측이나 누락도 평가해야 한다.

학습과 비교 조건

같은 구조도 입력 점 수와 학습 자료 및 증강에 따라 결과가 달라질 수 있다. 검출 상자의 위치와 크기, 범주 및 누락을 함께 확인한다. 단순한 구조라는 설명만으로 항상 더 빠르다고 판단하지 않으며 특징 수와 주의 계산 및 전체 지연을 같은 장치에서 비교한다.

관련 문서

Group-Free 3D / VoteNet / Point Transformer / PointRCNN / CenterPoint / 푸리에 특징 매핑