구조 선택을 나누어 보기
영역 특징 기반 모델보다 효율적인 구성을 사용해도 후속 과제 성능이 떨어질 수 있다. METER는 완전한 트랜스포머 기반 시각 언어 모델을 어떻게 설계하고 사전 학습할지 체계적으로 비교한다.
시각과 언어 인코더
CLIP-ViT와 Swin 같은 시각 인코더, RoBERTa와 DeBERTa 같은 언어 인코더를 실험한다. 입력을 표현하는 백본의 선택도 결합 모델의 결과를 좌우하는 설계 요소로 취급한다.
융합과 학습 목적
병합 어텐션과 공동 어텐션, 인코더만 사용하는 구성과 인코더 디코더 구성을 비교한다. 마스크 영상 모델링을 비롯한 사전 학습 목적도 분석 대상이다.
비교 결과의 의미
연구는 사전 학습에 사용한 영상 규모와 모델 확장 조건을 나누어 VQAv2 결과를 보고했다. 특정 부품의 우열만 외우기보다 인코더와 융합, 학습 목표가 함께 작용한다는 점을 살펴볼 연구다.