위키득계정 ↗
기술

DualPrompt

DualPrompt기술
발표
ECCV 2022
주요 구성
상보적인 프롬프트
자료 저장
과거 예시 버퍼 미사용
추가 벤치마크
Split ImageNet-R
DualPrompt는 공통 지식과 과제별 지식을 담는 상보적인 프롬프트로 사전 학습 모델의 지속 학습을 돕는 방법이다. 과거 예시를 저장하지 않고 순차 과제를 학습한다.

과거 예시 저장의 제약

경험 재생 방식은 과거 원본 예시를 버퍼에 저장해 망각에 대응한다. DualPrompt는 메모리와 개인정보 측면의 저장 제약을 고려해 이런 버퍼를 사용하지 않는 조건을 다룬다.

사전 학습 모델의 안내

작은 매개변수 집합인 프롬프트를 학습해 순차적으로 들어오는 과제를 사전 학습 모델이 수행하도록 한다. 모델의 기반 구조에 상보적인 프롬프트를 부착하는 구성을 제안했다.

공통성과 특수성의 분리

과제에 공통적인 지시와 과제에 특화된 지시를 학습하는 문제로 목적을 구성한다. 서로 다른 역할의 프롬프트가 과거 지식과 새 과제 학습을 함께 지원하도록 한다.

클래스 증가 조건의 평가

새 클래스가 계속 추가되는 어려운 지속 학습 조건에서 평가했다. 재생 없는 지속 학습 연구를 위해 더 어려운 Split ImageNet-R 벤치마크도 제시했다.

관련 문서

L2P / FOA 시험 시점 적응 / T3A / RDumb / EcoTTA / 기계 학습