위키득계정 ↗
기술

그룹 정규화

그룹 정규화기술
영문명
Group normalization
묶는 대상
입력 내부의 채널 그룹
주요 설정
그룹 수
통계의 특징
배치 표본끼리 섞지 않음
그룹 정규화는 신경망의 채널을 여러 묶음으로 나누어 묶음별 평균과 분산으로 활성값을 변환하는 방법이다. 한 입력 안에서 통계를 계산하므로 다른 배치 표본의 값에 직접 의존하지 않는다. 채널을 몇 그룹으로 나누는지가 중요한 설정이다.

그룹별 통계

지정한 그룹 안의 값들에서 평균 μ와 분산 v를 계산하고 (x-μ)/√(v+ε)로 변환한다. 이후 채널별 배율과 이동을 학습할 수 있다. 채널 수가 C이고 그룹 수가 G라면 일반적인 균등 분할에서는 C가 G로 나누어떨어져야 한다.

간단한 채널 예

공간 위치가 하나이고 채널 값이 (1,3,10,14)라고 하자. 두 그룹 (1,3)과 (10,14)의 평균은 각각 2와 12, 분산은 1과 4다. ε의 영향을 생략하면 결과는 (-1,1,-1,1)이다. 전체 네 값을 하나의 그룹으로 묶으면 평균과 분산이 달라져 같은 결과를 얻지 않는다.

그룹 수가 바꾸는 범위

채널 32개를 8개 그룹으로 나누면 그룹당 4개 채널이다. 공간 크기가 2×2라면 그룹 안의 공간 위치도 함께 계산하는 구성에서 평균 하나에 16개 값이 들어간다. 배치 크기가 10이라고 그 통계에 다른 입력의 값까지 10배로 합치는 방식은 아니다.

다른 정규화와의 관계

한 그룹으로 두면 통계 범위가 층 정규화의 일부 구성과 같아질 수 있다. 그러나 배율과 이동을 공유하는 축이 다르면 완전히 동일한 층은 아니다. 그룹 수를 채널 수와 같게 두면 입력별 채널 단위의 인스턴스 정규화 형태가 된다. 어느 선택이 좋은지는 자료와 모델에 따라 평가해야 한다.

관련 문서

층 정규화 / 배치 정규화 / 분산 / 인공 신경망 / 드롭아웃 / 활성화 함수