전역 처리의 확장성
그래프 트랜스포머를 큰 그래프로 확장하면서 메시지 전달 신경망과 경쟁할 정확도를 유지하는 문제를 다룬다. 모든 노드 쌍을 조밀하게 처리하는 대신 희소 연결의 성질을 활용한다.
확장 그래프의 성질
가상 전역 노드와 확장 그래프를 기반으로 어텐션을 구성한다. 확장 그래프의 스펙트럼 확장성과 의사 무작위성 및 희소성으로 그래프 크기에 선형인 계산과 원하는 이론적 성질을 얻는 접근이다.
모듈 결합과 평가
원 연구는 Exphormer를 GraphGPS 틀에 넣어 여러 그래프 자료에서 평가했다. 이전 그래프 트랜스포머보다 더 큰 그래프로 확장하는 실험도 수행했다.
관련 문서
GraphGPS / Graphormer / 희소성 / 어텐션 / 그래프 신경망 / 표현 학습