노드와 간선의 토큰화
그래프의 노드와 간선을 독립적인 토큰으로 만들고 토큰 임베딩을 추가한다. 그래프 전용 구조 변경을 트랜스포머에 넣는 대신 입력 토큰 표현으로 학습을 구성한다.
표현력의 조건
토큰 임베딩을 적절하게 선택하면 등변 선형 층으로 이루어진 이차 불변 그래프 신경망만큼 이상의 표현력을 가진다는 이론 결과를 제시했다. 이 비교는 메시지 전달 그래프 신경망보다 풍부한 표현을 다루는 관점이다.
대규모 그래프 자료의 평가
원 연구는 PCQM4Mv2에서 학습해 그래프 신경망 기준선과 그래프 특화 귀납 편향을 가진 트랜스포머 변형을 비교했다. 표준 구조의 트랜스포머가 그래프 학습에서 보이는 가능성을 조사했다.
관련 문서
Graphormer / GraphGPS / 트랜스포머 / 그래프 신경망 / 임베딩 / Open Graph Benchmark