날카로움 인지 최소화

점 하나와 주변 영역

학습 손실이 낮은 두 해라도 주변으로 조금 이동했을 때의 손실은 다를 수 있다. SAM은 정해진 매개변수 주변 영역의 큰 손실을 함께 고려한다. 입력 이미지나 문장에 직접 교란을 넣는 방식과는 섭동 대상이 다르다.

주변 손실의 독립 예제

f(t)=t²와 g(t)=10t²는 t=0에서 모두 0이다. 하지만 -0.1부터 0.1 사이의 최대값은 각각 0.01과 0.1이다. 중심값만 보면 같아도 주변 손실 기준은 다르다는 예다. 서로 다른 함수를 비교한 설명이며 실제 모형의 일반화 오차를 계산한 것은 아니다.

최대화의 근사

주변의 가장 나쁜 매개변수를 정확히 찾는 일은 일반적으로 쉽지 않다. 실용적인 절차에서는 기울기를 이용해 손실을 키우는 방향을 근사하고 그 지점의 정보를 갱신에 사용한다. 따라서 내부 최대화가 항상 전역적으로 정확하다는 뜻은 아니다.

반경과 계산 비용

주변 반경이 너무 작거나 크면 학습 동작과 품질이 달라질 수 있다. 추가 손실 및 기울기 평가의 비용도 필요하다. 좌표의 스케일에 따라 날카로움 측정이 달라질 수 있으며 낮은 주변 손실만으로 모든 과제의 일반화가 보장되지는 않는다.