가중치를 바꾸기 어려운 환경
자원이 제한된 기기에서는 모델을 양자화하거나 변경 불가능한 형태로 배치할 수 있다. 이런 환경은 역전파와 모델 갱신을 요구하는 적응 방법을 적용하기 어렵게 만든다.
입력 프롬프트의 탐색
FOA는 새로 추가한 입력 프롬프트를 미분 없는 공분산 행렬 적응 진화 전략으로 학습한다. 기존 모델 가중치를 갱신하지 않고 입력 쪽에서 적응한다.
적합도와 활성 이동
시험과 학습 통계의 차이 및 예측 엔트로피를 측정하는 적합도 함수를 구성한다. 추가로 시험 활성 값을 직접 이동해 원천 학습 영역에 정렬하는 방식을 사용한다.
양자화 모델의 평가
연구는 ImageNet-C에서 8비트 비전 트랜스포머의 FOA와 32비트 모델의 기울기 기반 방법을 비교했다. 정확도와 함께 역전파를 없앤 구성의 메모리 사용도 평가했다.
관련 문서
LAME 시험 시점 적응 / T3A / EcoTTA / Tent 시험 시점 적응 / DDA 확산 기반 적응 / 시험 시점 적응의 시간 제약 평가