영역이 추가되는 학습
영역 증가형 지속 학습에서는 새로운 자료 영역을 순차적으로 배우면서 기존 지식을 유지해야 한다. 연구는 과거 예시의 저장 없이 망각을 줄이는 단순한 학습 체계를 제안했다.
영역별 독립 학습
각 영역의 프롬프트를 사전 학습 트랜스포머와 함께 독립적으로 학습한다. 학습에는 하나의 교차 엔트로피 손실을 사용하며 영역 사이의 직접적인 프롬프트 간섭을 피하려 한다.
시험 시 영역 식별
추론 단계에는 간단한 최근접 이웃 연산을 영역 식별자로 사용한다. 이 학습 체계에서 이미지 프롬프트 방식과 언어 이미지 프롬프트 방식이라는 두 접근을 도출했다.
확장성과 평가
영역이 추가될 때 늘어나는 매개변수 규모와 세 가지 표준 영역 증가형 과제의 성능을 평가했다. 예시를 저장하는 조건과 저장하지 않는 기존 방법들을 비교했다.
관련 문서
L2P / DualPrompt / CODA-Prompt / DomainBed / FOA 시험 시점 적응 / 기계 학습