공간의 의미를 함수로 표현하기
특정 위치가 어떤 의미를 갖는지 임베딩 벡터로 나타내는 대응을 학습한다. 이 암시적 표현을 분할과 개체 식별 및 시점 위치 추정 같은 여러 작업에 사용할 수 있다.
직접 표지 대신 모델의 신호
학습의 감독 정보는 웹 이미지와 텍스트로 학습한 모델들에서 얻는다. 사람이 해당 장면에 직접 표지를 붙이지 않는 구성이지, 모든 감독 정보가 전혀 없는 학습은 아니다.
적은 예시의 비교
논문은 HM3D에서 소수 예시의 개체 식별과 의미 분할을 비교했다. 비교 방법보다 적은 예시로 얻은 개선은 그 자료와 설정에서의 결과로 해석해야 한다.
로봇의 장면 기억
실제 환경에서는 표현을 장면 기억으로 활용해 의미 기반 이동을 수행했다. 검색한 의미를 위치와 연결하는 기능이며, 질의가 모든 물리적 행동을 자동으로 완성하는 것은 아니다.
관련 문서
CLIP / Sentence-BERT / ConceptFusion / VLMaps / 임베딩 / 로봇 내비게이션