위키득계정 ↗
기술

L2P

연구 공개
2021년
발표 학회
CVPR 2022
영문 이름
Learning to Prompt
기억 구성
작은 학습 가능한 프롬프트
L2P는 작은 학습 가능한 프롬프트를 기억 공간에 유지하고 사전 학습 모델을 동적으로 안내하는 지속 학습 방법이다. 시험 단계에 과제 식별자를 받지 않는 조건을 다룬다.

순차 학습의 망각

자료 분포가 바뀌는 순차 과제에서는 새 지식을 학습하는 동안 과거 지식을 잊는 문제가 생긴다. L2P는 과거 예시의 재학습이나 시험 과제 식별자에 의존하는 접근과 다른 기억 체계를 탐색했다.

동적인 프롬프트 활용

작은 학습 매개변수인 프롬프트를 기억 공간에 유지한다. 순차적으로 들어오는 과제와 전환 조건에 맞게 사전 학습 모델의 예측을 동적으로 안내한다.

공통 지식과 과제별 지식

프롬프트를 최적화해 과제에 공통적인 지식과 특정 과제의 지식을 명시적으로 관리하려 한다. 새로운 과제를 학습할 수 있는 가소성도 함께 유지하는 것이 목적이다.

재학습 버퍼 없는 평가

여러 이미지 분류 지속 학습 조건에서 평가했다. 과거 예시를 저장하는 재학습 버퍼 없이도 적용하며 시험에서 과제를 알려 주지 않는 조건을 포함했다.

관련 문서

DualPrompt / FOA 시험 시점 적응 / T3A / Mean Teacher / DomainBed / 기계 학습