위키득계정 ↗
기술

RMSNorm

RMSNorm기술
영문명
Root Mean Square Layer Normalization
크기 기준
제곱평균제곱근
중심화
평균을 빼지 않음
대표 학습 계수
성분별 배율 γ
RMSNorm은 신경망의 활성값을 제곱평균제곱근으로 나누어 크기를 조절하는 정규화 방법이다. 평균을 먼저 빼는 층 정규화와 달리 중심화 단계를 생략한다. 일반적인 형태에서는 정규화 뒤 성분별 학습 배율을 곱한다.

계산식

정규화할 n개 값에 대해 s=√(ε+(x₁²+…+xₙ²)/n)로 두고 yᵢ=γᵢxᵢ/s로 계산한다. ε는 양수 안정화 상수다. 어떤 축의 값들을 묶어 n개로 볼지 정해야 하며 배치 전체를 무조건 하나로 묶는 것은 아니다.

평균은 0이 되지 않는다

x=(3,3), γ=(1,1)에서 ε를 생략하면 s=3이고 출력은 (1,1)이다. 평균은 1이다. 같은 입력에서 평균을 빼는 층 정규화의 기본 정규화 값은 (0,0)이다. 두 방법은 상수 벡터에도 서로 다른 출력을 만들 수 있다.

양수 배율과 평행 이동

ε를 생략하고 γ가 모두 1이면 (1,2)의 정규화 값은 (1,2)/√(5/2)다. 입력을 두 배 해도 분자와 분모가 함께 두 배가 되어 결과가 같다. 그러나 각 값에 1을 더한 (2,3)은 일반적으로 같은 결과가 아니다. 평균을 빼지 않으므로 양수 배율에 대한 성질을 평행 이동에도 적용할 수 없다.

보정 뒤의 성질

ε=0이고 0이 아닌 입력이면 기본 정규화 출력의 제곱평균은 1이다. ε가 양수이면 그보다 작으며, 성분별 γ를 곱하면 다시 달라진다. 모든 출력값을 -1과 1 사이로 제한하는 함수도 아니다. 정규화 축과 배율 설정을 함께 봐야 정확한 동작을 알 수 있다.

관련 문서

제곱평균제곱근 / 층 정규화 / 배치 정규화 / 그룹 정규화 / 인공 신경망 / 활성화 함수