기억 유지와 새 과제 학습
프롬프트 방식은 과거 예시를 재학습하지 않고도 망각에 대응할 수 있다. 연구는 키 선택 구성이 과제 순서와 함께 종단간 학습되지 않으면 새 과제의 학습성과 용량 활용이 제한될 수 있다고 분석했다.
프롬프트 성분의 조립
완성된 프롬프트 하나를 고르는 대신 여러 학습 가능한 성분을 구성한다. 입력에 따라 정한 가중치로 이 성분들을 합쳐 해당 입력의 프롬프트를 만든다.
어텐션 기반 종단간 학습
입력 조건부 조합은 새로운 어텐션 기반 키 질의 체계를 이룬다. 키를 다루는 과정과 프롬프트 학습을 과제 순서에 맞춰 함께 최적화하는 구성이다.
복합적인 과제 변화 평가
기존의 재생 없는 지속 학습 벤치마크에서 평가했다. 클래스 증가와 영역 증가가 함께 나타나는 벤치마크도 포함해 단일한 종류의 변화만 다루지 않았다.
관련 문서
L2P / DualPrompt / S-Prompts / FOA 시험 시점 적응 / T3A / 기계 학습