노드의 중요도
노드 차수에 따라 학습 가능한 벡터를 정하고 입력 특징에 더하는 중심성 인코딩을 사용한다. 노드의 의미 특징 사이 유사도만으로는 드러나지 않는 구조적 중요도를 반영하는 구성이다.
거리와 경로의 정보
최단 경로 거리를 어텐션의 편향 항으로 넣어 노드 사이의 공간 관계를 표현한다. 경로 위 간선 특징도 학습 가능한 임베딩과 결합해 어텐션에 사용하는 인코딩을 제안했다.
표현력과 평가
구조 인코딩을 갖춘 Graphormer가 여러 기존 그래프 신경망을 특수한 경우로 포함할 수 있음을 수학적으로 분석했다. 원 연구는 OGB 대규모 과제와 여러 그래프 수준 예측 자료에서 평가했다.
관련 문서
트랜스포머 / 어텐션 / 노드 차수 / 최단 경로 / 그래프 신경망 / Open Graph Benchmark