위키득계정 ↗
기술

OneFormer3D

OneFormer3D기술
초기 발표
2023년
통합 과제
의미, 인스턴스, 파놉틱 분할
핵심 구조
트랜스포머 디코더
마스크 생성
학습 가능한 커널
OneFormer3D는 점군의 의미 분할과 인스턴스 분할 및 파놉틱 분할을 한 체계에서 학습하는 모델이다. 의미 범주와 물체 개체를 위한 질의를 함께 사용해 마스크를 생성한다.

나눠진 분할 과제의 연결

어떤 범주인지 판단하는 일과 개체를 구별하는 일은 관련되어 있다. OneFormer3D는 과제마다 서로 다른 전용 모델을 두는 대신 이 관계를 공동 학습에 활용한다.

질의와 커널

의미 및 인스턴스 질의를 통합해 디코더에 입력한다. 학습 가능한 커널은 각 개체 또는 의미 범주에 대응하는 마스크를 만드는 역할을 한다.

한 번의 통합 학습

모델은 여러 분할 과제를 종단 간 공동 학습한다. 같은 구조로 세 과제를 다룬다는 것과 같은 평가 지표를 사용한다는 것은 다르므로 과제별 결과를 구별해야 한다.

벤치마크의 범위

논문은 ScanNet과 ScanNet200 및 S3DIS에서 여러 분할 과제를 평가했다. 당시 보고한 순위나 비교 차이는 해당 자료와 시점의 결과이며 이후 연구까지 포함한 현재 순위를 뜻하지 않는다.

관련 문서

Mask3D 인스턴스 분할 / 의미 분할 / 인스턴스 분할 / 파놉틱 분할 / 트랜스포머 / 점군