연산량을 고정하지 않기
영상 인코더의 비용이 크면 제한된 장치에서 사용하기 어렵다. AdaVid는 표현 차원을 바꾸어 사용 가능한 자원에 맞는 연산 구성을 선택하도록 한다.
차원과 프레임의 균형
임베딩 차원을 줄여 얻은 여유로 더 많은 프레임을 처리할 수 있다. 관련 연구는 Diving48에서 프레임 수와 연산량의 교환 관계를 살폈다.
짧은 클립에서 긴 영상으로
짧은 영상의 특징을 가벼운 계층적 네트워크로 모아 긴 영상을 처리한다. 입력 길이만 늘리는 방법과 달리 시간 구간을 나누어 정보를 집계하는 구성이다.
평가의 조건
Ego4D 영상·서술로 학습한 AdaVid-EgoVLP를 짧고 긴 영상 과제에서 평가했다. 같은 정확도의 연산 절감과 같은 연산량의 정확도 개선은 다른 비교이므로 자원 조건을 함께 확인해야 한다.