텍스트만으로 맞히는 문제
연구는 삼차원 입력 없이 텍스트 질문 응답만으로 조정한 언어 모델이 SQA3D에서 경쟁력 있는 결과를 보일 수 있다고 관찰했다. 이런 경우 전체 점수만으로 삼차원 정보를 사용했는지 판단하기 어렵다.
더 엄격한 질문 구성
Real-3DQA는 쉽게 추측되는 질문을 걸러내고 삼차원 추론의 여러 측면을 구조적인 분류 체계로 평가한다. 영상이나 점군에서 얻는 공간 단서가 필요한지 더 직접적으로 시험하려는 목적이다.
공간 관계 오류의 진단
단순한 단서를 제거한 조건에서 기존 삼차원 언어 모델이 공간 관계를 다루는 어려움을 분석했다. 점수 하락을 언어 능력과 삼차원 지각 및 관계 해석의 어느 부분에서 생기는지 살피는 기반을 제공한다.
단서 의존도를 높이는 학습
같은 연구는 삼차원 시각 단서에 더 의존하도록 학습 목적을 재가중하는 방법도 제안했다. 평가 구성과 학습 전략을 함께 바꾸어 지름길 대신 장면에 근거하는 추론을 유도한다.
관련 문서
SQA3D / MSR3D와 MSQA / EgoAlign / 지름길 학습 / 공간 추론 / 자료 편향