좌표 스케일의 문제
같은 함수를 나타내는 매개변수라도 숫자의 크기는 다를 수 있다. 이때 모든 좌표에 같은 절대 변화량을 적용하면 함수가 받는 영향은 달라진다. ASAM은 이 차이를 고려하는 적응형 날카로움 개념을 이용한다.
곱 모형의 독립 예제
y=abx에서 a=b=1인 경우와 a=10, b=0.1인 경우는 모두 y=x다. 하지만 a에만 0.1을 더하면 출력 배율은 각각 1.1과 1.01이 된다. 같은 절대 섭동이 같은 함수 변화가 아니라는 예이며 실제 ASAM 갱신 전체를 나타내지는 않는다.
적응형 주변의 의미
매개변수 크기에 맞춘 정규화 등을 이용해 주변 영역을 정의하면 스케일 변화에 덜 민감한 기준을 만들 수 있다. 어떤 정규화와 노름을 쓰는지에 따라 구체적인 영역이 달라진다. 단순히 모든 좌표의 학습률을 동일 비율로 바꾸는 것과는 다르다.
불변성과 평가
스케일 불변이라는 표현은 정해진 재스케일 변환과 정규화 조건에 관한 것이다. 모든 좌표 변환이나 모든 모형에서 학습 결과가 완전히 같다는 뜻은 아니다. 주변 반경, 추가 계산량과 실제 일반화 성능을 동일한 실험 조건에서 비교한다.
관련 문서
날카로움 인지 최소화 / 경사 하강법 / 과적합 / AdaHessian / 언어 모형 / 트랜스포머