목표 밖의 물체도 연결
물체를 가리키는 문장에는 목표를 설명하기 위한 주변 대상도 등장할 수 있다. ScanEnts3D는 ScanRefer와 ReferIt3D를 확장해 문장에 언급된 모든 물체를 장면의 실제 인스턴스에 연결한다.
구와 삼차원 대상의 대응
약 8만 4천 문장에 걸쳐 물체 대응 약 36만 9천 개를 제공한다. 문장 전체와 최종 정답 하나의 연결보다 세밀한 감독으로 언어의 각 지시 내용과 장면 문맥을 학습하게 한다.
신경 청자와 화자의 학습
대상을 찾는 신경 청자뿐 아니라 대상을 설명하는 신경 화자의 언어 생성에도 주석을 활용했다. 손실 항을 추가해 구와 물체의 대응을 기존 구조가 배울 수 있도록 구성했다.
학습 주석과 시험 입력
추가 주석은 학습에 이용하며 시험 시 새 주석을 제공할 필요가 없는 조건을 평가했다. 주석을 사용하는 학습 단계와 실제 추론의 입력 조건을 구분해 결과를 해석해야 한다.
관련 문서
ScanRefer / ReferIt3D / Multi3DRefer / Flickr30k Entities / 점군 / 자연어 처리