범주 대신 조밀한 특징
모델은 각 점의 고정 정답 범주만 출력하는 대신 의미 특징을 예측한다. 이후 임의 범주 이름의 임베딩과 유사도를 비교해 점을 분류할 수 있다.
질의에 맞는 장면 영역
사용자가 텍스트를 입력하면 장면 중 어떤 부분이 질의와 맞는지 열 지도로 보여 줄 수 있다. 같은 표현을 여러 질의에 재사용하므로 과제마다 새 분류기를 만드는 접근과 다르다.
물체 이상의 개념
연구는 물체와 재질뿐 아니라 행동 가능성과 활동 및 방 종류도 다뤘다. 복잡한 장면의 다양한 의미를 하나의 모델로 찾으려는 방향이다.
표지 없는 삼차원 학습
삼차원 정답 표지 없이 학습한다는 것은 사용하는 시각 언어 표현의 사전 학습도 없다는 뜻은 아니다. 질의 가능성이 열려 있어도 인식 정확도는 기반 표현과 관측 장면에 따라 달라질 수 있다.
관련 문서
CLIP / 점군 / 의미 분할 / LERF / ConceptFusion / CLIP-Fields