언어와 시각의 대응 학습
질문 분해나 장면 그래프 같은 수작업 구조에 의존하던 복잡한 융합을 트랜스포머 층으로 대체한다. 영상과 언어의 문맥 사이 대응을 학습하는 것이 목적이다.
설계된 분해를 줄이기
특정 상황을 가정한 융합 방식은 자료의 시나리오에 과하게 맞춰질 수 있다. 연구는 모달 간 상호작용을 단순한 인코더 층의 적층으로 학습하는 대안을 제시한다.
후보 선택에서 좌표 회귀로
사전에 만든 영역 제안이나 앵커 상자 중 하나를 고르지 않고 경계 좌표를 직접 예측한다. 출력 후보의 구성과 좌표를 학습하는 방식은 서로 다른 비교 요소다.
평가의 범위
논문은 널리 사용되는 다섯 데이터셋에서 실험했다. 트랜스포머를 사용했다는 사실만이 아니라 직접 좌표 회귀와 융합 설계가 함께 적용된 결과로 해석해야 한다.
관련 문서
MAttNet / Flickr30k Entities / ReferItGame / 트랜스포머 / 시각적 그라운딩 / 회귀 분석