전체 미세 조정의 대안
큰 모델을 새 과제에 적용할 때 전체 백본을 모두 학습하면 비용이 커질 수 있다. Ego-VPA는 학습하는 부분을 줄이는 매개변수 효율적 적응을 다룬다.
기저에서 프롬프트 만들기
각 영상 프레임과 텍스트 특징에 맞는 기저 프롬프트를 선택해 희소한 근사를 구성한다. 선택한 기저를 조합해 각 모달에 사용할 프롬프트를 합성한다.
공유로 연결하는 문맥
기저를 여러 프레임과 모달에서 공유하므로 시간 문맥의 융합과 교차 모달 전이를 함께 다룬다. 학습한 프롬프트가 사람이 읽는 문장 지시와 동일한 것은 아니다.
효율성의 단위
연구는 적은 학습 매개변수로 전체 미세 조정에 가까운 성능을 조사했다. 학습 가능한 매개변수 비율과 전체 모델 크기, 추론 연산량은 서로 다른 비용이므로 구분해 비교해야 한다.