위키득계정 ↗
기술

Room-Across-Room

Room-Across-Room기술
발표
EMNLP 2020
약칭
RxR
언어
영어, 힌디어, 텔루구어
정렬 정보
단어와 생성자 및 검증자의 가상 자세
Room-Across-Room은 세 언어로 이동 지시와 시각 경험을 연결한 데이터셋이다. 단어와 사람의 가상 자세를 시간상 정렬해 지시의 어느 부분이 어떤 관측에 해당하는지 연구할 수 있게 한다.

언어가 필요한 이동

경로의 편향만으로 정답을 추정하기보다 언어를 실제로 활용하는 평가를 지향한다. 보이는 대상에 대한 참조를 늘리고 알려진 경로 편향을 다루도록 자료를 구성했다.

단어와 시점의 연결

지시의 각 단어는 이를 작성하고 검증하는 사람의 가상 자세와 시간상 정렬된다. 지시를 읽는 동안 어떤 관측과 연결되는지 더 세밀하게 살필 수 있는 정보다.

단일 언어와 다중 언어

원 논문은 한 언어와 여러 언어를 쓰는 설정을 각각 평가했다. Room-to-Room 주석을 포함한 다중 과제 학습도 비교해 다른 자료와 함께 쓰는 조건을 살폈다.

사람 관측의 활용

동기화한 자세 궤적을 이용해 사람이 주목한 파노라마 일부에서 학습하는 모델도 제시했다. 이런 추가 정보를 사용한 결과와 지시만 사용하는 결과는 조건을 구별해야 한다.

관련 문서

Room-to-Room / REVERIE / CVDN / 다중 언어 학습 / 시각 언어 모델 / 로봇 내비게이션