순서와 상호작용
예시마다 하나의 영향 점수를 부여하면 영향이 단순히 더해진다는 가정을 두기 쉽다. 실제 학습에서는 예시 사이의 중복과 순서, 학습 과정의 구성이 서로 영향을 줄 수 있다.
과정을 예측하는 설명
Simfluence는 특정 순서의 학습 예시가 주어지면 시험 예시의 손실 궤적을 생성하는 시뮬레이터를 목표로 한다. 예시별 점수 하나보다 시간에 따른 변화를 직접 다룬다.
선형 시뮬레이터
Simfluence-Linear는 예시 사이의 비가산적 상호작용을 포착하도록 제안됐다. 기존 TracIn과 영향 함수 접근을 이 구성의 특수한 경우로 보는 연결도 제시했다.
시뮬레이션의 평가
언어 모델 미세 조정에서 예측한 손실 궤적과 실제 궤적을 비교했다. 학습 순서를 바꿨을 때의 결과와 어느 단계에서 변화가 생길지를 조사하는 분석에 연결된다.
관련 문서
TracIn / 영향 함수 기반 학습 자료 추적 / Datamodels / TRAK / 데이터 섀플리 / 리프리젠터 포인트