기존 전문가의 지식 활용
처음부터 모든 시각 언어 능력을 학습하기보다 여러 영역의 전문가를 활용한다. 사전 학습된 모델에서 얻은 지식을 모아 영상과 언어를 함께 다루는 추론에 사용한다.
대부분의 가중치 고정
네트워크 가중치의 대부분은 기존 전문가에서 가져와 학습 중 고정한다. 새로 학습해야 하는 구성 요소를 줄여 데이터와 매개변수의 효율을 높이려 한다.
사전 학습 비용과의 구분
현재 단계에서 필요한 학습 자료가 줄어드는 것과 전문가를 만드는 데 든 비용까지 사라지는 것은 다르다. 전체 비용을 비교할 때는 재사용한 모델의 사전 학습도 별도의 전제로 봐야 한다.
평가 방식
논문은 미세 조정과 소수 예시 학습의 성능을 각각 평가했다. 자료 효율의 보고는 해당 실험 조건에 대한 결과이며, 모든 과제에서 같은 자료 절감 비율이 보장되지는 않는다.
관련 문서
Flamingo / VLMo / EVE 시각 언어 모델 / 전이 학습 / 미세 조정 / 시각 언어 모델