함수 공간의 학습
신경망의 매개변수가 경사 하강으로 바뀔 때 입력을 출력으로 보내는 함수도 변한다. NTK는 이 함수 변화의 방향을 커널 기울기로 기술하는 관점을 제공한다.
유한 모델과 극한
유한한 모델의 NTK는 초기화에 따라 달라지고 학습 중에도 변할 수 있다. 연구는 무한 너비 극한에서 일정한 극한 커널로 수렴하고 학습 중 유지되는 조건을 분석했다.
수렴을 보는 관점
극한 커널의 양의 정부호 성질과 학습 수렴을 연결했다. 최소제곱 회귀 설정에서는 함수의 학습을 선형 미분 방정식으로 설명할 수 있음을 보였다.
이론의 적용 범위
연구는 넓은 신경망의 수치 실험을 무한 너비 극한과 비교했다. 극한에서 얻은 결과를 모든 유한 모델의 특징 학습에 그대로 적용할 수 있다고 보아서는 안 된다.