큰 모델의 영향 함수
학습 예시가 모델의 행동에 얼마나 기여하는지 추정할 때 역헤시안 벡터 곱 계산이 큰 부담이다. 이 연구는 EK-FAC 근사를 사용해 언어 모델 규모의 분석에 접근했다.
계산 비용의 절감
후보 학습 시퀀스의 기울기를 계산하는 비용을 줄이기 위해 TF-IDF 필터링과 질의 배치 처리를 조사했다. 영향 함수의 근사 정확도와 계산 효율을 함께 평가했다.
일반화의 조사
영향의 희소성과 모델 크기에 따른 추상성, 수학 및 프로그래밍 능력과 언어 간 일반화 등을 분석했다. 학습 예시의 영향으로 모델의 일반화 패턴을 살펴보는 도구로 사용했다.
관찰된 순서의 영향
원 연구에서는 핵심 구문의 순서를 뒤집었을 때 추정 영향이 거의 사라지는 한계도 관찰됐다. 특정 행동의 원인을 확정하는 대신 근사 영향과 그 분석 조건을 함께 해석해야 한다.
관련 문서
영향 함수 기반 학습 자료 추적 / TracIn / TRAK / DataInf / Datamodels / 데이터 섀플리