위키득계정 ↗
기술

PairNorm

PairNorm기술
연구 공개
2019년
발표
ICLR 2020
구성 유형
정규화 층
추가 학습 매개변수
없음
PairNorm은 그래프 신경망에서 노드 임베딩이 모두 비슷해지는 현상을 줄이기 위한 정규화 층이다. 그래프 합성곱의 반복이 만드는 과도한 평활화를 분석해 제안했다.

구별이 사라지는 표현

그래프 합성곱을 반복하면 노드 임베딩 사이의 구별이 줄어들 수 있다. 원 연구는 깊이에 따른 성능 저하의 원인 중 하나인 과도한 평활화를 두 해석에서 살펴보고 정량화하려 했다.

표현의 지나친 유사성 방지

그래프 합성곱 연산자를 분석해 모든 노드 표현이 지나치게 비슷해지는 것을 막는 정규화 층을 제안했다. 별도 학습 매개변수 없이 기존 그래프 신경망에 적용하는 구성이다.

여러 모형의 평가

원 연구는 실제 그래프에서 더 깊은 GCN과 GAT 및 단순 그래프 합성곱에 적용했다. 깊은 신경망의 이점이 나타나는 새로운 문제 설정도 함께 평가했다.

관련 문서

GCNII / GAT 그래프 어텐션 / 단순 그래프 합성곱 / 정규화 / 그래프 신경망 / 표현 학습