영향 계산의 부담
영향 함수는 모델 출력을 학습 자료와 연결하는 방법이지만 큰 모델에서는 계산 비용이 문제가 된다. DataInf는 언어 모델과 텍스트 영상 생성 모델의 영향 근사에 초점을 맞췄다.
닫힌 형태의 근사
쉽게 계산할 수 있는 닫힌 형태의 표현을 활용해 계산과 메모리 사용을 줄인다. 이론 분석에서는 LoRA와 같은 매개변수 효율적 미세 조정에 특히 적합한 성질을 조사했다.
생성 모델의 평가
RoBERTa-large와 Llama-2-13B-chat, Stable Diffusion v1.5에서 미세 조정 예시의 영향을 평가했다. 기존 근사 방법과 영향 점수의 정확도 및 계산 비용을 비교했다.
자료 진단의 활용
영향이 큰 미세 조정 예시를 찾고 잘못 표기된 자료를 식별하는 데도 활용했다. 결과는 모델과 미세 조정 설정에 따른 근사 영향으로 해석한다.
관련 문서
영향 함수 기반 학습 자료 추적 / EK-FAC 언어 모델 영향 분석 / TracIn / TRAK / Datamodels / Data-OOB