사례 사이 의존 관계
현실 자료의 사례들은 서로 독립적이지 않을 수 있다. 여러 사례를 한 묶음으로 인코딩하면서 상호작용을 통해 다른 사례의 정보를 점차 받아들이는 과정을 모델링한다.
에너지 감소와 확산 강도
잠재 구조에서 표현의 전역적 일관성을 에너지로 나타낸다. 그 감소 조건 아래 사례 쌍의 확산 강도에 대한 닫힌 형태의 최적 추정을 분석해 트랜스포머 인코더를 구성한다.
규모에 따른 두 구성
사례 수가 많을 때를 위한 선형 복잡도의 단순형과 복잡한 구조를 학습하는 고급형을 제시했다. 그래프 노드 분류와 반지도 이미지·텍스트 분류 및 시공간 예측에 적용했다.
관련 문서
NodeFormer / Graphormer / GraphGPS / GraphSAGE / GDC 그래프 확산 / 트랜스포머