형상과 설명의 연결
3차원 표현을 이미지와 언어에 맞추려면 서로 연결된 자료가 필요하다. 설명을 사람이 일일이 만들면 규모를 키우기 어렵고 표현의 다양성도 제한될 수 있다. ULIP-2는 자료 구성의 확장성을 다룬다.
자동 설명을 이용한 자료 확장
3차원 데이터를 입력으로 받아 대규모 다중 모달 모형으로 전체적인 언어 설명을 생성한다. 수작업 3차원 주석을 요구하지 않는 구성을 지향한다. 자동 설명을 사용한다는 사실과 그 내용이 항상 정확하다는 보장은 다르다.
세 모달리티의 사전 학습
점 구름, 이미지, 언어 자료를 구성하고 확장한 기반망으로 표현을 학습한다. 제로샷 분류, 미세 조정 분류, 3차원에서 언어를 생성하는 과제를 평가한다. 각 평가의 학습 자료와 정답 사용 조건은 구분해야 한다.
설명의 누락과 오인의 독립 예
설명용으로 손잡이가 가려진 3차원 물체를 설명하면서 컵이라는 범주만 맞히고 손잡이 형태를 잘못 쓸 수 있다. 넓은 범주의 정확성과 세부 설명의 정확성은 다른 항목이다. 실제 데이터셋 사례를 옮기지 않은 자동 설명 해석의 예다.
관련 문서
ULIP / PointCLIP / CLIP / PointNet / PointNet 플러스플러스 / Voxel-MAE