위키득계정 ↗
기술

SAN 스펙트럼 어텐션

SAN 스펙트럼 어텐션기술
연구 공개
2021년
발표
NeurIPS 2021
영문 이름
Spectral Attention Network
위치 정보
라플라시안 스펙트럼
SAN은 그래프 라플라시안의 전체 스펙트럼을 활용하는 학습 위치 인코딩을 트랜스포머에 결합한 모형이다. 노드의 위치 표현을 특징에 더한 뒤 완전 연결 어텐션으로 처리한다.

그래프 위치의 학습

정규적인 순서가 없는 그래프에서 위치를 어떻게 정의할지 다룬다. 전체 라플라시안 스펙트럼을 사용할 수 있는 학습 위치 인코딩으로 각 노드의 위치를 표현한다.

완전 연결 트랜스포머

학습한 위치 인코딩을 노드 특징에 더하고 완전 연결 트랜스포머로 보낸다. 스펙트럼 정보를 통해 그래프 구조를 구별하고 비슷한 부분 구조를 포착하는 능력을 분석했다.

정보 전달과 평가

완전 연결 처리로 일반적인 이웃 메시지 전달의 정보 병목을 줄이는 방향을 제안했다. 원 연구는 네 표준 자료에서 그래프 신경망과 어텐션 모형을 비교했다.

관련 문서

Graphormer / 그래프 라플라시안 / 스펙트럼 / 트랜스포머 / 어텐션 / 표현 학습