위키득계정 ↗
기술

KAN

전체 이름
Kolmogorov-Arnold Networks
연구 공개
2024년
발표 학회
ICLR 2025
주요 구성
연결 위의 학습 가능한 스플라인 함수
KAN은 연결마다 학습 가능한 단변수 함수를 두는 신경망 구조다. 콜모고로프와 아르놀트의 표현 정리에서 영감을 받아 다층 퍼셉트론의 대안으로 제안됐다.

활성화 함수의 위치

일반적인 다층 퍼셉트론은 뉴런에 고정된 활성화 함수를 둔다. KAN은 연결에 학습 가능한 활성화 함수를 두는 방식으로 구조를 바꾼다.

가중치를 함수로 바꾸기

원래 제안은 선형 가중치 대신 스플라인으로 매개변수화한 단변수 함수를 사용한다. 연결이 단순한 상수 배율을 넘어서 입력에 따른 변환을 학습하게 된다.

정확도와 해석 가능성

연구는 자료 적합과 편미분 방정식 풀이에서 다층 퍼셉트론과 비교했다. 학습한 함수를 시각화하고 사람과 상호작용하기 쉬운 구조도 주요 장점으로 논의했다.

과학 과제의 실험

수학과 물리의 사례를 통해 관계나 법칙을 발견하는 데 활용할 가능성을 살폈다. 제시된 과제의 성과를 모든 종류의 신경망 작업에서 우수하다는 보장으로 볼 수는 없다.

관련 문서

신경 접선 커널 / 기계 학습 / 이중 하강 / 그로킹 / 특징 중첩 / 언어 모델