작은 벡터로 조절하기
새로운 큰 가중치 행렬을 모두 학습하는 대신 특정 활성값에 곱할 벡터를 학습한다. 주의 연산의 키와 값, 피드포워드의 내부 활성값을 조절하는 구성이 사용된다. 모든 입력에 공통인 학습 매개변수지만 입력 활성값과 결합한 결과는 문맥에 따라 달라진다.
성분별 곱의 독립 예제
활성값이 (2, -3, 4)이고 학습한 배율이 (0.5, 2, 0)이라면 결과는 (1, -6, 0)이다. 마지막 성분은 이 계산에서 제거된다. 단순 예제일 뿐 배율이 항상 0과 1 사이에 있어야 하거나 실제 학습이 이런 값을 선택한다는 뜻은 아니다.
적응과 문맥 예시
문맥 학습은 매번 예시를 입력에 넣어 동작을 유도할 수 있다. IA3는 작업용 매개변수를 학습한다는 점에서 다르다. 예시 입력을 없애거나 줄일 수 있는 구성도 있지만 학습 비용과 작업별 벡터의 저장 및 관리가 필요하다.
적용 범위
작은 학습 매개변수 수가 전체 모형 실행을 생략하게 해 주지는 않는다. 어떤 위치를 조절하는지와 작업 자료에 따라 결과가 달라진다. 저랭크 보정이나 소프트 프롬프트와 비교할 때에는 같은 기반 모형과 데이터, 추론 조건에서 비용과 정확도를 평가한다.