특징 추출의 비용
기존 모델은 영상 특징을 먼저 만드는 과정에 큰 계산을 사용하기도 했다. ViLT 연구는 모달 사이의 상호작용뿐 아니라 그 앞단의 시각 임베딩 과정도 효율 비교에 포함해야 한다고 보았다.
정해진 시각 어휘의 영향
영역 검출기에 기대면 그 검출기가 표현할 수 있는 시각 개념이 후속 모델에 영향을 준다. 연구는 이런 제약과 별도의 특징 추출 비용을 함께 문제로 다룬다.
시각 처리를 단순화하기
시각 입력도 텍스트처럼 합성곱에 의존하지 않는 방식으로 처리하는 최소 구성을 제시한다. 영상과 언어의 상호작용을 위한 트랜스포머에 비해 무거웠던 시각 처리 부분을 줄이는 것이 핵심이다.
효율과 성능의 비교
논문은 당시 비교 모델보다 빠른 처리와 경쟁력 있는 후속 과제 성능을 보고했다. 속도 수치는 비교 대상과 구현 조건에 달려 있으며, 다른 시스템에서도 같은 배율이 유지된다는 뜻은 아니다.