목표 능력의 자료
일반적인 지시 자료가 많아도 특정 추론 능력에 가장 유용한 자료를 찾기는 어렵다. LESS는 목표 능력을 드러내는 소수의 예시를 기준으로 자료를 선택한다.
최적화 방식의 반영
기존 영향 추정 구성을 Adam 최적화기와 길이가 다른 지시 자료에 맞게 조정했다. 실제 지시 미세 조정의 학습 조건을 선택 기준에 반영하려는 접근이다.
기울기 유사도 탐색
재사용하고 이전할 수 있는 저차원 기울기 특징 저장소를 만든다. 목표 능력을 보여주는 예시와의 유사성을 이용해 학습 예시를 고른다.
선택 자료의 이전
작은 모델로 큰 모델이나 다른 계열 모델에 유용한 자료를 선택하는 실험을 했다. 목표 과제에 대한 효과와 표면적인 표현을 넘어서는 선택 특성을 분석했다.
관련 문서
DataInf / TracIn / TRAK / Datamodels / 데이터 섀플리 / EK-FAC 언어 모델 영향 분석