자료 귀속의 비용
예측을 학습 예시로 추적하는 방법에서는 계산 가능성과 설명의 정확성이 함께 중요하다. TRAK은 소수의 학습된 모델을 활용하는 방식으로 이 문제에 접근했다.
선형화와 차원 축소
학습된 매개변수 주변에서 모델 출력을 테일러 근사로 선형화한다. 매개변수 기울기가 만드는 큰 차원의 표현은 무작위 투영으로 줄인다.
기여 점수의 구성
변환된 문제에서 영향 점수를 추정하고 서로 독립적으로 학습한 여러 모델의 결과를 결합한다. 소프트 임계값 처리를 통해 귀속 점수를 희소하게 만드는 단계도 사용한다.
여러 모델에서의 분석
ImageNet 영상 분류기와 CLIP, BERT 및 mT5를 대상으로 활용을 평가했다. 추정 점수는 모델 출력의 학습 자료 의존성을 분석하는 도구이며 근사의 구성과 함께 해석한다.
관련 문서
Datamodels / TracIn / 영향 함수 기반 학습 자료 추적 / 리프리젠터 포인트 / 데이터 섀플리 / Data-OOB