위키득계정 ↗
기술

NodeFormer

NodeFormer기술
발표
NeurIPS 2022
문제 설정
잠재 그래프 구조 학습
주요 연산
커널화 검벨 소프트맥스
평가 규모
최대 200만 노드
NodeFormer는 임의의 노드 쌍 사이에 신호를 전달하면서 잠재 그래프 구조를 학습하는 트랜스포머형 노드 분류 모형이다. 커널화한 검벨 소프트맥스 연산으로 노드 수에 선형인 계산을 구성한다.

주어진 연결의 제약

불완전한 간선이나 먼 노드 사이의 관계 및 입력 그래프 자체가 없는 경우를 다룬다. 새 위상을 적응적으로 배우면서 노드 쌍 전체를 처리할 때의 제곱 계산 비용을 줄이려는 접근이다.

잠재 구조의 미분 가능 학습

임의 노드 사이로 신호를 전파하는 모든 쌍 메시지 전달을 구성한다. 커널화한 검벨 소프트맥스가 잠재적으로 완전 연결된 큰 그래프의 구조를 미분 가능한 방식으로 학습하도록 돕는다.

그래프가 없는 입력의 평가

원 연구는 최대 200만 노드 그래프의 노드 분류를 평가했다. 입력 그래프가 주어지지 않은 영상 분류 같은 응용에서도 그래프 구조 학습을 활용하는 경우를 조사했다.

관련 문서

Exphormer / GraphGPS / GraphSAGE / 트랜스포머 / 검벨 소프트맥스 / 그래프 신경망