설명에서 대상의 위치로
삼차원으로 스캔한 장면의 점군과 특정 물체를 가리키는 설명을 함께 입력한다. 출력은 설명이 지정한 물체의 위치이며, 질문에 대한 자유 문장 답변을 생성하는 과제와 구별된다.
물체 제안과 문장의 융합
모델은 삼차원 물체 제안의 특징과 인코딩한 문장 임베딩을 결합한다. 융합 표현을 통해 언어의 지시 내용과 장면의 기하 정보를 연결한다.
삼차원 경계 상자의 회귀
설명이 가리키는 대상에 맞는 삼차원 경계 상자를 회귀한다. 물체 범주를 인식하는 것에 더해 같은 장면의 후보 중 어느 위치가 설명에 대응하는지 판단해야 한다.
자료와 평가의 단위
자료는 800개 장면의 물체 1만 1천 46개에 설명 5만 1천 583개를 연결한다. 장면과 물체, 설명은 각각 다른 단위이므로 설명 수를 서로 다른 장면의 수로 해석해서는 안 된다.