문서 둘러보기
PixelREPA
PixelREPA는 픽셀 공간의 생성 모형에 맞게 표현 정렬 목표를 변환하는 방법이다. 얕은 트랜스포머 어댑터와 일부 토큰 마스킹을 결합해 JiT의 생성과 의미 특징 정렬을 함께 다룬다.
DiT 확산 트랜스포머
DiT는 잠재 이미지 패치를 처리하는 트랜스포머를 확산 모형의 기반 신경망으로 사용하는 구조다. U-Net 대신 트랜스포머를 두고 깊이와 너비 및 입력 토큰 수에 따른 확장성을 조사했다.
REPA 표현 정렬
REPA는 잡음 제거 신경망의 은닉 표현을 사전 학습한 시각 인코더의 깨끗한 이미지 표현과 정렬하는 정규화 방법이다. 확산과 흐름 기반 트랜스포머의 학습 효율 및 생성 품질을 개선하려는 접근이다.
LlamaGen
LlamaGen은 언어 모형의 다음 토큰 예측 방식을 이미지 생성에 적용하는 자기회귀 모형 계열이다. 이미지 토크나이저와 모형 규모 및 학습 자료의 품질을 함께 조사했다.
SiT 생성 모형
SiT는 두 분포를 잇는 보간 틀과 DiT의 신경망 구조를 결합한 생성 모형 계열이다. 학습 시간의 표현과 목적함수 및 보간 경로, 결정적 또는 확률적 표본 추출을 모듈별로 조사한다.
Fluid 이미지 생성
Fluid는 연속 토큰과 무작위 생성 순서를 사용하는 텍스트 기반 이미지 생성 모형이다. 토큰의 이산성 여부와 생성 순서 및 어텐션 구조가 모형 확장에 주는 영향을 조사한 연구에서 제안됐다.
RAR 무작위 자기회귀 생성
RAR은 학습 중 이미지 토큰의 순서를 확률적으로 섞어 여러 분해 순서를 학습하는 자기회귀 생성 방법이다. 순서를 섞는 확률을 점차 줄이면서 다음 토큰 예측의 틀을 유지한다.
MAR 연속 이미지 생성
MAR 연속 이미지 생성 연구는 토큰별 확률을 확산 절차로 모델링해 연속값 공간에서 자기회귀 생성을 수행한다. 벡터 양자화 토큰 대신 확산 손실로 연속 표현의 분포를 학습한다.
VAR 다음 규모 예측
VAR은 이미지를 거친 규모에서 세밀한 규모로 생성하는 시각 자기회귀 모델링 방법이다. 한 토큰씩 줄별 순서로 예측하는 대신 다음 규모나 해상도의 표현을 예측한다.
TiTok
TiTok은 이미지를 이차원 잠재 격자 대신 일차원 토큰 시퀀스로 압축하는 트랜스포머 기반 토크나이저다. 가까운 이미지 영역의 중복을 줄여 재구성과 생성에 필요한 표현을 간결하게 만드는 접근이다.
잔차 양자화 이미지 생성
잔차 양자화 이미지 생성 연구는 RQ-VAE와 RQ-Transformer를 결합해 짧은 공간 코드로 이미지를 생성한다. 각 위치를 여러 이산 코드의 쌓임으로 표현하고 다음 위치의 코드 묶음을 자기회귀적으로 예측한다.
MAGE 생성 인코더
MAGE는 이미지 생성과 자기 지도 표현 학습을 같은 마스크 모델링 틀에서 수행하는 인코더다. 가리는 비율을 바꾸어 높은 비율에서는 생성을, 낮은 비율에서는 표현 학습을 유도한다.
MAGVIT
MAGVIT는 영상을 시공간 토큰으로 양자화하고 마스크 토큰 모델링으로 여러 영상 합성 과제를 수행하는 트랜스포머다. 3차원 토크나이저와 다중 과제 학습을 위한 임베딩 방식을 결합한다.
MaskGIT
MaskGIT는 무작위로 가린 이미지 토큰을 양방향 문맥으로 예측하는 생성 트랜스포머다. 추론에서는 이미지 토큰을 동시에 생성하기 시작하고 이전 결과를 조건으로 반복 정제한다.
UViM
UViM은 학습한 이산 안내 코드로 여러 시각 과제의 출력을 예측하는 통합 모형이다. 고차원 출력을 만드는 피드포워드 기본 모형과 안내 코드를 생성하는 자기회귀 언어 모형을 결합한다.
VQGAN
VQGAN은 판별기와 지각 손실을 결합해 압축된 이미지 코드북을 학습하는 모형이다. 코드를 인덱스 시퀀스로 나타내고 트랜스포머로 그 조합을 학습해 고해상도 이미지를 생성한다.
유한 스칼라 양자화
유한 스칼라 양자화는 잠재 표현을 적은 차원으로 줄인 뒤 각 차원을 고정된 유한 값에 양자화하는 방법이다. 차원별 값 집합의 곱으로 암묵적 코드북을 만들며 FSQ라고 부른다.
VQ-VAE
VQ-VAE는 벡터 양자화로 이산 잠재 코드를 학습하는 생성 모형이다. 인코더가 연속값 대신 이산 코드를 출력하고 사전 분포도 학습하며, 후속 VQ-VAE-2는 여러 해상도의 계층으로 확장했다.
ALAE
ALAE는 인코더와 생성기를 함께 학습해 표현과 생성 능력을 결합하는 적대적 잠재 오토인코더다. StyleGAN 기반 확장인 StyleALAE는 실제 이미지의 재구성과 조작도 함께 다룬다.
학습된 특징 기반 VAE 재구성
학습된 특징 기반 VAE 재구성 연구는 GAN 판별기의 특징 표현으로 재구성 유사도를 측정한다. 픽셀별 오류 대신 특징별 오류를 사용해 VAE와 적대적 생성 학습을 결합하는 접근이다.
ALICE 결합 분포 학습
ALICE는 양방향 적대 학습에서 결합 분포를 맞추는 것만으로 원하는 관계가 식별되지 않을 수 있는 문제를 다룬다. 조건부 엔트로피 관점으로 비지도 및 감독 학습의 분포 정렬을 구성한다.
InfoGAN
InfoGAN은 일부 잠재 변수와 관측 자료 사이의 상호 정보량을 키우는 생성적 적대 신경망이다. 정보 이론 목적을 더해 해석 가능한 잠재 표현을 정답 표지 없이 학습하려는 접근이다.
BigBiGAN
BigBiGAN은 BigGAN에 인코더를 더하고 판별기를 바꾸어 이미지 생성과 표현 학습을 함께 수행하는 모형이다. 이미지 합성 품질의 개선이 비지도 표현 학습에도 도움이 되는지 조사했다.
일반화 적대적 추론 학습
일반화 적대적 추론 학습은 이미지와 잠재 변수 및 보조 과제의 여러 결합 분포를 판별하는 방식으로 ALI와 BiGAN을 확장한다. 재구성과 자기 지도 신호를 생성기 및 인코더 학습에 반영한다.
BiGAN과 ALI
BiGAN과 ALI는 자료를 생성하는 신경망과 자료에서 잠재 표현을 추론하는 신경망을 적대적으로 함께 학습하는 접근이다. 2016년 각각 제안됐으며 생성 모형에서 표현을 얻는 역방향 매핑을 다룬다.
적대적 변분 베이즈
적대적 변분 베이즈는 보조 판별 신경망을 이용해 유연한 추론 모형으로 VAE를 학습하는 방법이다. 최대 우도 문제를 두 참여자의 게임으로 재구성해 생성적 적대 학습과 연결한다.
정규화 결정적 오토인코더
정규화 결정적 오토인코더는 확률적 인코딩 대신 정규화로 잠재 공간을 학습하는 생성 모형 연구다. 학습 뒤 잠재 표현의 밀도를 추정하는 단계를 더해 새로운 자료를 생성한다.
VAE 추론 지연 완화
VAE 추론 지연 완화 연구는 학습 초기에 추론 신경망이 움직이는 실제 사후를 따라가지 못하는 현상을 분석한다. 생성 모형을 갱신하기 전에 추론 신경망을 더 최적화해 잠재 변수의 붕괴를 줄이는 접근이다.
순환 KL 어닐링
순환 KL 어닐링은 VAE의 KL 정규화 가중치를 여러 차례 점진적으로 늘리는 학습 방법이다. 앞 주기에 얻은 잠재 표현을 다음 주기의 초기 신호로 사용해 KL 항 소실을 완화한다.
BIVA
BIVA는 양방향 확률적 추론 경로와 건너뛰기 연결을 가진 생성 모형을 결합하는 계층형 VAE다. 깊은 잠재 변수 계층과 복잡한 공분산 구조를 활용해 자료 분포를 표현한다.
델타 VAE
델타 VAE는 변분 사후가 사전 분포에서 일정한 최소 거리 이상 떨어지도록 제약하는 생성 모형이다. 강한 디코더와 변분 하한 학습을 유지하면서 잠재 변수가 정보를 보존하도록 유도한다.
NVAE
NVAE는 이미지 생성을 위해 신경망 구조를 설계한 깊은 계층형 변분 오토인코더다. 깊이별 분리 합성곱과 배치 정규화, 정규 분포의 잔차 파라미터화 및 스펙트럼 정규화를 결합한다.
매우 깊은 계층형 VAE
매우 깊은 계층형 VAE 연구는 확률적 잠재 층의 깊이를 크게 늘려 이미지 생성 모형의 표현력을 조사했다. 충분한 깊이의 VAE가 자기회귀 모형을 표현할 수 있다는 관찰에서 출발한다.
Ladder VAE
Ladder VAE는 여러 확률적 잠재 층을 가진 생성 모형의 분포를 자료 의존적인 근사 우도로 재귀적으로 보정하는 추론 모형이다. 깊은 잠재 계층을 학습하고 활용하는 문제를 다룬다.
VampPrior
VampPrior는 학습 가능한 의사 입력에 조건을 둔 변분 사후들을 혼합해 만드는 사전 분포다. VAE의 사전과 사후를 연결해 유연한 생성 모형과 잠재 표현을 학습하려는 방법이다.
DIP-VAE
DIP-VAE는 관측 자료 전체에 걸쳐 집계한 근사 사후를 정규화하는 분리 표현 학습 방법이다. 잠재 표현의 공분산을 조절해 변화 요인이 서로 다른 차원에 드러나도록 유도한다.
FactorVAE
FactorVAE는 표현의 분포가 차원별로 독립적인 형태를 따르도록 유도하는 비지도 학습 방법이다. 독립된 변화 요인에서 생성된 자료를 대상으로 표현 분리와 재구성 품질의 균형을 다룬다.
InfoVAE
InfoVAE는 변분 오토인코더의 추론 품질과 잠재 변수 활용을 개선하기 위해 제안한 학습 목적의 계열이다. 기존 목적이 좋아져도 근사 추론이 나빠지거나 강한 디코더가 잠재 변수를 무시하는 문제를 다룬다.
베타 TCVAE
베타 TCVAE는 증거 하한을 분해해 잠재 변수 사이의 총상관 항에 주목하는 분리 표현 학습 방법이다. 총상관과 표현 분리의 관계를 조사하고 상호 정보량 간격이라는 평가 척도를 제안했다.
BB-ANS
BB-ANS는 잠재 변수 모형의 bits-back 부호화를 비대칭 수 체계인 ANS로 구현하는 무손실 압축 방법이다. ANS의 스택 같은 처리 순서로 부호화 단계를 이어 붙이고 사용한 보조 비트를 복구한다.
변분 확산 모형
변분 확산 모형 연구는 신호 대 잡음비로 확산 모형의 변분 하한을 설명하고 잡음 스케줄을 함께 학습한다. 이미지의 우도 기반 밀도 추정과 bits-back 무손실 압축을 평가했다.
SurVAE Flows
SurVAE Flows는 전사 변환으로 VAE와 정규화 흐름을 연결하는 생성 모형 프레임워크다. 한 방향의 결정적 변환과 반대 방향의 확률적 변환을 조합해 서로 다른 우도 계산을 다룬다.
정수 이산 흐름
정수 이산 흐름은 순서가 있는 이산 자료를 정수 사이의 전단사 변환으로 모델링하는 생성 방법이다. 정수 이산 결합 층을 사용해 무손실 압축에서 양자화로 생길 수 있는 복원 오류를 다룬다.
UMNN
UMNN은 도함수가 양수라는 성질을 이용해 단조 변환을 구성하는 신경망이다. 출력의 양수성만 제약하는 자유로운 신경망으로 변환을 정의해 자기회귀 흐름과 변분 추론에 활용한다.
실베스터 정규화 흐름
실베스터 정규화 흐름은 평면 흐름의 단일 유닛 병목을 일반화한 변분 사후 변환이다. 여러 은닉 유닛과 잔차 연결을 사용하면서 실베스터 행렬식 항등식으로 야코비 계산을 줄인다.
B-NAF
B-NAF는 하나의 피드포워드 신경망으로 가역 변환을 직접 표현하는 블록 신경 자기회귀 흐름이다. 블록 행렬을 사용해 자기회귀성과 엄격한 단조성을 확보하며 모형의 파라미터를 줄인다.
NAF 신경 자기회귀 흐름
NAF는 MAF와 IAF의 원소별 아핀 변환을 단조 신경망으로 바꾼 자기회귀 흐름이다. 가역 단변량 변환의 표현력을 높여 연속 확률 분포와 여러 봉우리를 가진 목표 분포를 모델링한다.
Flow++
Flow++는 변분 역양자화와 구조 설계로 흐름 기반 생성 모형을 개선한 연구다. 균일 잡음과 아핀 변환 및 합성곱만 사용하는 조건 신경망이라는 세 설계 선택을 함께 조사했다.
iResNet 가역 잔차 신경망
iResNet은 학습 중 정규화 단계를 추가해 잔차 신경망에 가역성을 부여하는 방법이다. 같은 구조를 분류와 밀도 추정 및 생성에 사용하고, 우도 계산에는 잔차 블록의 야코비 로그 행렬식 근사를 도입한다.
FFJORD
FFJORD는 상미분방정식으로 정의한 연속 시간 가역 생성 모형이다. 야코비 행렬의 대각합을 확률적으로 추정해 신경망 구조를 강하게 제한하지 않고 로그 밀도를 학습한다.
Residual Flows
Residual Flows는 가역 잔차 신경망으로 확률 분포를 모델링하는 흐름 기반 생성 방법이다. 확률적 급수 추정으로 로그 밀도의 편향을 없애고 경사 계산의 메모리 비용을 줄인다.
Glow 생성 흐름
Glow는 가역적인 1×1 합성곱을 사용하는 흐름 기반 생성 모형이다. 정확한 로그 우도를 학습 목적으로 사용하면서 큰 이미지의 생성과 잠재 표현 조작을 다룬다.
신경 스플라인 흐름
신경 스플라인 흐름은 단조 유리 이차 스플라인으로 정규화 흐름의 변환을 유연하게 만드는 방법이다. 미분 가능성과 해석적 역변환을 유지하며 결합 및 자기회귀 변환에 적용한다.
NICE 밀도 추정
NICE는 자료를 독립 잠재 변수의 분포로 옮기는 비선형 변환을 학습하는 밀도 추정 방법이다. 역변환과 야코비 행렬식 계산이 쉬운 구성으로 정확한 로그 우도를 학습에 사용한다.
Real NVP
Real NVP는 부피를 보존하지 않는 학습 가능한 가역 변환으로 확률 밀도를 모델링하는 방법이다. 정확한 로그 우도 계산과 표본 생성 및 잠재 변수 추론을 함께 다루는 비지도 학습 모형이다.
IAF 역자기회귀 흐름
IAF는 자기회귀 신경망에 바탕을 둔 가역 변환을 이어 붙이는 정규화 흐름이다. 고차원 잠재 공간에서 유연한 근사 사후를 학습하기 위해 제안됐다.
MAF 마스크 자기회귀 흐름
MAF는 자기회귀 모형이 사용하는 내부 난수를 다른 자기회귀 모형으로 설명하며 층을 쌓는 밀도 추정 방법이다. 이런 구성을 정규화 흐름으로 해석해 분포의 유연성을 높인다.
재가중 wake-sleep
재가중 wake-sleep은 추론 신경망에서 잠재 변수를 여러 번 뽑아 중요도 가중으로 생성 모형을 학습하는 방법이다. 추론 신경망을 제안 분포로 삼는 우도 추정 관점으로 wake-sleep을 해석한다.
정규화 흐름 변분 추론
정규화 흐름 변분 추론 연구는 단순한 초기 분포에 가역 변환을 차례로 적용해 복잡한 근사 사후를 만든다. 효율적인 변분 추론에서 사용할 수 있는 분포의 표현력을 높이는 접근이다.
Sticking the Landing
Sticking the Landing은 변분 증거 하한의 재매개변수화 경사에서 점수 함수 항을 제거하는 추정 방법이다. 표준 하한에서 불편성을 유지하며 근사 사후가 실제 사후에 가까워질 때 분산을 줄인다.
변분 하한과 경사 신호의 상충
변분 하한과 경사 신호의 상충 연구는 더 촘촘한 증거 하한이 추론 신경망 학습에는 불리할 수 있음을 분석했다. 경사 추정의 신호 대 잡음비를 살피고 IWAE를 확장한 세 알고리즘을 제안했다.
DReG
DReG는 몬테카를로 목적함수의 경사 추정에 재매개변수화를 두 번 적용하는 방법이다. IWAE의 표본 수가 늘 때 추론 신경망 경사 추정이 나빠지는 문제를 다루며, 불편성을 유지하면서 분산을 줄인다.
IWAE
IWAE는 중요도 가중으로 만든 다중 표본 로그 우도 하한을 사용하는 생성 모형이다. VAE와 같은 구조에서 학습 목적을 바꾸고 여러 잠재 표본으로 복잡한 사후 분포를 근사한다.
변분 오토인코더
변분 오토인코더는 잠재 변수의 분포를 추론하는 인코더와 자료를 생성하는 디코더를 함께 학습하는 확률 모형이다. 변분 하한과 재매개변수화를 이용해 계산하기 어려운 사후 추론을 근사한다.
확률적 역전파 연구
확률적 역전파 연구는 확률 변수를 통과하는 역전파 규칙으로 심층 생성 모형과 근사 사후 모형을 함께 학습하는 방법을 제안했다. 인식 모형을 확률적 인코더로 사용해 추론과 학습을 연결한다.
바서슈타인 오토인코더
바서슈타인 오토인코더는 모형 분포와 목표 분포 사이의 바서슈타인 거리에 벌점 항을 더한 목적을 줄이는 생성 모형이다. 학습 자료를 인코딩한 분포가 사전 분포와 맞도록 정규화한다.
적대적 오토인코더
적대적 오토인코더는 잠재 코드의 집계 사후 분포를 정한 사전 분포에 맞추도록 적대적 학습을 사용하는 확률적 오토인코더다. 디코더는 사전 공간의 코드를 자료 분포로 변환하는 생성 모형을 학습한다.
리만 흐름 텍스트 오토인코더
리만 흐름 텍스트 오토인코더 연구는 바서슈타인 오토인코더에 리만 정규화 흐름을 결합한다. 입력의 기하를 반영하도록 잠재 변수를 변환하고 텍스트 생성에서 잠재 코드가 무시되는 문제를 다룬다.
푸앵카레 변분 오토인코더
푸앵카레 변분 오토인코더 연구는 계층적 자료를 위한 잠재 공간으로 푸앵카레 공을 사용한다. 쌍곡 공간의 가우스 일반화 분포를 다루는 방법을 마련하고 생성 모형과 임베딩에 적용한다.
Power Spherical 분포
Power Spherical 분포는 초구면의 방향 자료와 잠재 구조를 위한 확률 분포다. 평균 방향에 대한 대칭성을 유지하면서 폰 미제스 피셔 분포의 표본 생성과 수치 안정성 문제를 다루려는 대안이다.
쌍곡 래핑 정규 분포
쌍곡 래핑 정규 분포 연구는 쌍곡 공간에서 가우스와 비슷한 확률 모형을 구성한다. 밀도를 해석적으로 계산하고 파라미터에 대해 미분할 수 있어 경사 기반 학습에 활용한다.
APo-VAE
APo-VAE는 푸앵카레 공의 잠재 공간을 사용하는 텍스트 생성 변분 오토인코더다. 래핑 정규 분포로 잠재 변수의 사전과 변분 사후를 정의하고 KL 발산의 원시 쌍대 정식화로 적대적 학습을 구성한다.
구면 코시 변분 오토인코더
구면 코시 변분 오토인코더 연구는 각도 방향의 두꺼운 꼬리를 가진 구면 코시 분포를 잠재 사후 분포로 사용한다. 뫼비우스 변환으로 표본을 만들고 균일 사전에 대한 KL 발산을 계산한다.
구면 잠재 공간의 VAE 안정화
구면 잠재 공간의 VAE 안정화 연구는 텍스트 변분 오토인코더에서 잠재 변수를 사용하지 않게 되는 붕괴 문제를 다룬다. 폰 미제스 피셔 분포와 고정한 분산 설정으로 학습을 구성한다.
S-VAE
S-VAE는 잠재 공간을 초구면으로 구성하는 변분 오토인코더다. 가우스 분포 대신 폰 미제스 피셔 분포를 사용해 잠재 구조가 구면인 자료를 표현하려는 모형이다.
일반화 구면 텍스트 임베딩
일반화 구면 텍스트 임베딩은 단어와 문단을 단위 프로베니우스 노름의 행렬로 표현하는 비지도 학습 방법이다. 행렬 구조를 활용하는 유사도와 구면 다양체 최적화를 결합한다.
구면 텍스트 임베딩
구면 텍스트 임베딩은 구면 생성 모형으로 단어와 문단 표현을 함께 학습하는 방법이다. 방향에 따른 유사도를 사용하는 후속 과제와 임베딩 학습 공간의 차이를 줄이려는 접근이다.
HyCoCLIP
HyCoCLIP은 이미지 전체와 객체 영역 및 각각의 텍스트 설명을 함께 다루는 쌍곡 시각 언어 학습 방법이다. 대조 목적과 함의 목적을 결합해 장면의 구성 관계를 표현하도록 학습한다.
PHyCLIP
PHyCLIP은 여러 쌍곡 공간 인자의 곱과 L1 곱 거리를 이용하는 시각 언어 표현 모형이다. 개념군 내부의 계층과 서로 다른 개념군 사이의 조합을 함께 표현하도록 설계됐다.
기본 개념 기반 조합 일반화
기본 개념 기반 조합 일반화 연구는 시각 언어 표현에서 분해한 기본 요소를 직접 이용해 보지 못한 속성과 객체의 조합을 인식한다. 유클리드와 구면 및 쌍곡 표현의 기하를 함께 비교했다.
쌍곡 시각 언어 모형의 기하 감사
쌍곡 시각 언어 모형의 기하 감사 연구는 학습된 표현이 실제로 반지름과 함의 원뿔을 이용해 계층을 표현하는지 점검한다. MERU와 HyCoCLIP 및 PHyCLIP의 공개 체크포인트와 통제 실험을 조사했다.
MERU
MERU는 이미지와 텍스트를 쌍곡 공간에 표현하는 대조 학습 모형이다. 시각 개념과 언어 개념에 걸친 계층 구조를 표현 공간에 반영하는 것을 목표로 한다.
쌍곡 디스크 임베딩
쌍곡 디스크 임베딩은 유향 비순환 그래프의 관계를 연속 공간에 표현하는 방법이다. 조상과 후손 관계가 함께 빠르게 증가하는 복잡한 그래프를 다루기 위해 디스크 임베딩 틀을 확장한다.
쌍곡 비전 트랜스포머
쌍곡 비전 트랜스포머 연구는 비전 트랜스포머가 추출한 임베딩을 쌍곡 공간에 옮겨 거리 학습을 수행한다. 변형한 쌍별 교차 엔트로피 손실로 출력 표현을 직접 최적화한다.
쌍곡 이미지 임베딩
쌍곡 이미지 임베딩 연구는 영상 신경망의 출력 표현에 쌍곡 기하를 적용하는 접근이다. 이미지 분류와 검색, 적은 예시로 학습하는 과제에서 유클리드 및 구면 표현과 비교했다.
HoroPCA
HoroPCA는 쌍곡 공간의 자료에서 주요 방향을 추출하는 차원 축소 방법이다. 부분공간과 투영 및 설명 분산이라는 주성분 분석의 요소를 쌍곡 공간으로 일반화한다.
초쌍곡 표현 학습
초쌍곡 표현 학습은 일정한 영이 아닌 곡률을 가진 의사 리만 다양체에서 자료의 표현을 학습하는 연구다. 쌍곡 기하와 구면 기하를 일반화한 공간에 맞춰 거리와 최적화 도구를 구성한다.
HNN++
HNN++는 푸앵카레 공 모형에서 여러 신경망 구성 요소를 통일된 수학적 해석으로 정의한 연구다. 다항 로지스틱 회귀와 완전 연결층, 합성곱층, 어텐션을 쌍곡 공간에 구성한다.
쌍곡 신경망
쌍곡 신경망 연구는 쌍곡 임베딩을 분류와 순차 자료 처리에 활용하도록 신경망 연산을 구성한 접근이다. 뫼비우스 자이로벡터 공간과 푸앵카레 모형의 리만 기하를 결합한다.
순서 임베딩
순서 임베딩 연구는 단어와 문장 및 이미지 사이의 시각 의미 계층을 부분 순서로 표현하는 학습 방법이다. 상위어 관계, 텍스트 함의, 이미지 설명을 공통된 계층 구조의 관점에서 다룬다.
쌍곡 함의 원뿔
쌍곡 함의 원뿔은 계층 관계를 중첩된 원뿔의 부분 순서로 표현하는 임베딩 방법이다. 유향 비순환 그래프의 관계를 낮은 차원 공간에 담기 위해 측지적으로 볼록한 원뿔을 사용한다.
로런츠 모형 계층 임베딩
로런츠 모형 계층 임베딩 연구는 대규모 유사도 점수에서 계층 관계를 발견하기 위해 쌍곡 공간의 로런츠 모형을 사용한다. 낮은 차원에서 큰 분류 체계를 표현하는 효율과 품질을 조사했다.
푸앵카레 임베딩
푸앵카레 임베딩은 기호 자료를 푸앵카레 공이라는 쌍곡 공간에 배치하는 표현 학습 방법이다. 텍스트와 그래프에 숨어 있는 계층 관계와 유사성을 함께 담는 간결한 표현을 목표로 한다.
중첩 쌍곡 공간 학습
중첩 쌍곡 공간 학습 연구는 쌍곡 공간 안의 더 낮은 차원 공간을 이용해 차원 축소와 신경망을 구성한다. 투영과 내재적 집계 및 비선형 연산을 쌍곡 공간에서 처리하는 접근이다.
HGCN 쌍곡 그래프 합성곱
HGCN은 쌍곡 공간에서 특징 변환과 집계를 수행하는 그래프 합성곱 신경망이다. 계층적이거나 척도 없는 그래프의 구조를 표현하기 위해 각 층의 곡률까지 학습한다.
HeCo
HeCo는 이종 그래프를 네트워크 스키마와 메타패스라는 두 관점에서 보고 서로 대조하는 자기 지도 학습 방법이다. 국소 구조와 고차 구조를 함께 담는 노드 표현을 정답 표지 없이 학습한다.
HGOT
HGOT는 최적 수송을 이용해 이종 그래프의 자기 지도 표현을 학습하는 방법이다. 여러 메타패스의 분기 뷰와 이를 모으는 중심 뷰 사이의 의미 관계를 수송 계획으로 연결한다.
MV-HetGNN
MV-HetGNN은 이종 그래프의 여러 의미를 다중 뷰로 처리하는 노드 표현 학습 모형이다. 노드 특징 변환, 뷰별 에고 그래프 인코딩, 자동 다중 뷰 융합으로 구조와 의미 정보를 결합한다.
SeHGNN
SeHGNN은 이웃 집계를 미리 계산하고 메타패스별 특징을 결합하는 이종 그래프 신경망이다. 가벼운 평균 집계와 긴 메타패스, 트랜스포머 기반 의미 융합으로 구조 정보를 처리한다.
GTN 메타패스 그래프 학습
GTN은 간선 유형의 조합을 학습해 새로운 메타패스 그래프를 만들고 그 위에서 노드 표현을 학습하는 신경망이다. 원래 그래프에서 직접 연결되지 않은 노드 사이에도 과제에 유용한 관계를 구성한다.