구조 유사성의 문제
위치 인코딩을 넣은 트랜스포머의 노드 표현도 노드 사이 구조적 유사성을 반드시 포착하는 것은 아니라는 문제를 다룬다. 구조를 직접 어텐션에 포함하는 방법을 제안했다.
부분 그래프를 먼저 표현하기
어텐션을 계산하기 전에 각 노드를 뿌리로 하는 부분 그래프 표현을 추출한다. 여러 자동 생성 방법을 제안하며 기존 그래프 신경망을 표현 추출기로 사용할 수 있도록 구성했다.
표현력과 과제 평가
결과 표현이 부분 그래프 표현만큼 이상의 표현력을 갖는다는 이론 분석을 제시했다. 원 연구는 다섯 그래프 예측 벤치마크에서 기본 그래프 신경망과 구조 인식 트랜스포머를 비교했다.
관련 문서
Graphormer / GraphGPS / 부분 그래프 / 트랜스포머 / 어텐션 / 그래프 신경망