상황 설명에 대한 의존
삼차원 질문 응답에서는 에이전트의 위치와 방향을 문장으로 알려주는 경우가 많다. 실제 환경에서 이런 설명을 얻는 비용을 줄이기 위해 EgoAlign은 수치 자세에 직접 근거하는 장면 해석을 다룬다.
에이전트 중심의 좌표 표현
장면의 기하 정보를 에이전트를 기준으로 표현한다. 단순히 자세 값을 입력에 추가하는 것보다 그 값에 따라 위치와 관계를 일관되게 해석하는 능력을 학습하는 데 초점을 둔다.
네 가지 정렬 학습
후속 과제 조정에 앞서 물체 범주 인식과 자아 중심 방향 예측, 미터법 거리 추정 및 공간 관계 예측을 학습한다. 서로 보완되는 과제로 장면의 의미와 기하 정보를 자세에 맞춰 연결한다.
자세를 섞어 보는 진단
SQA3D와 Real-3DQA, MSQA에서 평가하고 수치 자세를 무작위로 섞는 실험도 수행했다. 상황 설명을 제거한 성능과 자세 변형에 따른 성능을 함께 살펴 모델이 자세 정보를 실제로 사용하는지 확인했다.
관련 문서
Real-3DQA / SQA3D / MSR3D와 MSQA / 공간 추론 / 좌표계 / 점군