여러 관계가 필요한 지시
비슷한 물체가 여럿이면 한 번의 두 물체 비교만으로 목표를 구별하기 어려울 수 있다. 설명에 등장하는 여러 공간 관계를 함께 만족하는 물체 조합을 고려해야 한다.
다항 관계의 학습
B2N3D는 관계 학습을 이항에서 다항으로 점진적으로 확장한다. 개별 물체 쌍의 관계뿐 아니라 여러 대상의 조합이 지시 문장 전체와 어떻게 맞는지 학습한다.
그룹 감독과 장면 그래프
그룹화 감독 손실로 다항 관계 학습을 지원한다. 다항 관계로 만든 장면 그래프와 혼합 어텐션을 사용하는 다중 모달 네트워크에서 조합 안의 목표 물체를 찾는다.
위치 추정의 비교 실험
ReferIt3D와 ScanRefer에서 기존 방법과 비교하고 구성 요소를 제거하는 실험도 수행했다. 여러 관계를 고려하는 이점과 후보 조합의 구성 방식은 함께 검토할 설계 조건이다.
관련 문서
ReferIt3D / ScanRefer / 장면 그래프 / 그래프 신경망 / SSR3D-LLM / 공간 추론