위키득계정 ↗
기술

TracIn

TracIn기술
발표
NeurIPS 2020
추정 대상
학습 예시가 예측에 준 영향
주요 자료
기울기, 손실, 체크포인트
기본 조건
확률적 경사 하강 계열의 학습
TracIn은 학습 중 특정 예시를 사용했을 때 시험 입력의 손실이 어떻게 변하는지 추적하는 영향 추정 방법이다. 기울기 근사와 저장된 체크포인트로 학습 예시의 기여를 계산한다.

학습 중의 손실 변화

관심 있는 학습 예시가 사용될 때 시험 입력의 손실이 바뀌는 정도를 따라간다. 예측 결과와 학습 자료를 학습 과정의 변화로 연결하는 접근이다.

일차 기울기 근사

정확한 계산 대신 일차 기울기 근사를 사용해 계산을 확장한다. 일반적인 학습 과정에서 저장한 체크포인트도 활용한다.

층의 선택

심층 신경망의 일부 층을 선택하는 방식으로 구현 부담을 조절할 수 있다. 방법은 기울기와 체크포인트, 손실 함수에 대한 접근을 바탕으로 구성된다.

적용 범위

확률적 경사 하강법 또는 그 변형으로 학습한 모델을 대상으로 제안했다. 구조와 입력 분야에 제한을 두기보다 학습 자료의 영향을 조사하고 개선하는 활용을 목표로 한다.

관련 문서

영향 함수 기반 학습 자료 추적 / SHAP / LIME / ROAR 설명 평가 / 적분 기울기 / 현저성 지도의 무작위화 검사