문서 둘러보기
Liquid Time-constant Network
Liquid Time-constant Network는 입력과 상태에 따라 유효 시간상수가 달라지는 연속시간 순환 신경망이다. 비선형 게이트로 조절되는 동역학을 수치 적분해 상태를 계산한다.
폐형식 연속시간 신경망
폐형식 연속시간 신경망은 경과 시간을 명시적으로 반영하는 계산식으로 연속시간 상태 갱신을 구성하는 모형이다. CfC는 LTC 동역학의 근사에서 출발해 반복적인 수치 적분의 부담을 줄이는 방식이다.
Neural RDE
Neural RDE는 긴 시계열의 작은 구간들을 로그 시그니처로 요약해 잠재 상태를 갱신하는 신경 미분방정식 모형이다. 경로가 상태를 구동하는 정보를 구간 단위로 다룬다.
신경 제어 미분방정식
신경 제어 미분방정식은 관측 시계열에서 만든 연속 경로의 변화로 잠재 상태를 움직이는 모형이다. 불규칙한 시점에 들어오는 관측 정보를 연속시간 처리에 반영한다.
라그랑지안 신경망
라그랑지안 신경망은 일반화 좌표와 속도에서 라그랑지안을 학습하고 오일러·라그랑주 방정식으로 운동을 계산하는 모형이다. 가속도를 직접 예측하는 대신 스칼라 함수의 미분 구조를 활용한다.
해밀토니안 신경망
해밀토니안 신경망은 스칼라 해밀토니안을 신경망으로 표현하고 그 미분에서 상태 변화율을 구하는 모형이다. 정준 위치와 운동량의 관계를 구조에 반영해 보존계의 동역학을 학습한다.
잠재 ODE
잠재 ODE는 초기 잠재 상태에서 연속시간 동역학을 전개해 관측 시계열을 생성하는 모형이다. 관측 간격이 일정하지 않은 데이터에서 원하는 시각의 잠재 상태를 계산할 수 있다.
증강 신경 상미분방정식
증강 신경 상미분방정식은 입력 상태에 추가 차원을 붙인 공간에서 연속 동역학을 학습하는 모형이다. 더 큰 상태 공간을 활용해 원래 공간에서 제약을 받는 표현 변환을 다룬다.
ANODE 수반 미분
ANODE는 신경 상미분방정식의 학습에서 수치 적분과 일관된 기울기를 메모리 효율적으로 계산하는 방법이다. 체크포인트를 저장하고 필요한 구간을 재계산하는 방식을 활용한다.
신경 상미분방정식
신경 상미분방정식은 상태의 변화율을 신경망으로 나타내고 수치 적분으로 출력을 계산하는 모형이다. 고정된 층의 목록 대신 연속적인 상태 변화의 규칙을 학습한다.
DeepONet
DeepONet은 입력 함수와 출력 평가 위치를 서로 다른 하위 신경망으로 처리하는 연산자 학습 구조다. 입력 함수에 따른 출력 함수의 변화를 학습하고 지정한 위치에서 값을 예측한다.
DeepXDE
DeepXDE는 미분방정식 문제를 신경망으로 다루는 파이썬 라이브러리다. 자동 미분으로 계산한 방정식 잔차와 초기·경계 조건 등을 학습 목적에 반영하는 과학 계산 작업을 지원한다.
AFNO
AFNO는 주파수 영역에서 토큰 정보를 혼합하는 적응형 푸리에 신경 연산자다. 채널을 블록으로 나눠 처리하고 가중치 공유와 주파수 계수의 축소를 활용해 고해상도 입력의 비용을 줄인다.
푸리에 신경 연산자
푸리에 신경 연산자는 입력 함수에서 출력 함수로의 대응을 학습하는 신경망 구조다. 주파수 영역에 매개변수를 둔 적분 연산을 활용하며 편미분방정식의 해 연산자를 근사하는 데 쓰인다.
FNet
FNet은 트랜스포머 인코더의 자기 주의 대신 푸리에 변환으로 특징을 혼합하는 신경망이다. 시퀀스와 은닉 특징의 두 축을 변환하고 실수부를 후속 순방향 층에 전달한다.
GFNet
GFNet은 특징을 주파수 영역으로 옮겨 학습된 필터를 곱한 뒤 다시 공간 영역으로 복원하는 이미지 인식 신경망이다. 푸리에 변환을 이용해 넓은 공간 관계를 처리한다.
PoolFormer
PoolFormer는 토큰 사이의 정보 혼합에 풀링을 사용하는 시각 인식 신경망이다. 토큰 혼합 연산과 정규화, 채널 MLP, 잔차 연결로 이루어진 전체 구조의 역할을 살펴보는 모형이다.
VOLO
VOLO는 국소적인 세부 특징을 만드는 Outlooker와 전역 정보를 모으는 트랜스포머를 결합한 시각 인식 신경망이다. 중심 특징에서 주변 정보의 결합 가중치를 생성하는 outlook attention을 사용한다.
CSWin Transformer
CSWin Transformer는 가로 띠와 세로 띠의 자기 주의를 병렬로 계산하는 계층적 시각 트랜스포머다. 여러 주의 헤드를 두 방향의 그룹으로 나눠 넓은 공간 관계를 처리한다.
Shuffle Transformer
Shuffle Transformer는 지역 창의 자기 주의 사이에 공간 재배열을 활용하는 시각 트랜스포머다. 서로 다른 창에 속한 특징들이 후속 처리에서 정보를 교환하도록 연결한다.
CrossViT
CrossViT는 서로 다른 패치 크기를 처리하는 두 트랜스포머 분기를 교차 주의로 연결한 이미지 분류 모형이다. 각 분기의 분류 토큰을 매개로 다른 크기의 특징 정보를 교환한다.
Focal Transformer
Focal Transformer는 가까운 특징은 세밀하게, 먼 특징은 거친 해상도로 참조하는 시각 트랜스포머다. 서로 다른 공간 범위와 해상도의 정보를 하나의 주의 처리에 활용한다.
T2T-ViT
T2T-ViT는 이웃 토큰을 반복적으로 결합해 이미지의 국소 구조를 반영하는 시각 트랜스포머다. 점진적인 토큰 생성 모듈과 깊고 좁은 특징 처리 구조를 결합한다.
Transformer in Transformer
Transformer in Transformer는 이미지 패치 내부의 관계와 패치 사이의 관계를 각각 트랜스포머로 처리하는 신경망이다. 큰 패치를 더 작은 단위로 나눠 두 수준의 특징을 결합한다.
Pyramid Vision Transformer
Pyramid Vision Transformer는 여러 공간 해상도의 특징 맵을 만드는 계층적 시각 트랜스포머다. 공간 축소 주의 연산으로 높은 해상도에서 키와 값의 길이를 줄인다.
Twins 비전 트랜스포머
Twins는 공간 주의 연산과 위치 표현의 설계를 다루는 시각 트랜스포머 계열이다. Twins-PCPVT와 Twins-SVT가 있으며, SVT는 지역 주의와 축소된 전역 주의를 번갈아 사용한다.
CaiT
CaiT는 패치 특징의 처리와 분류용 특징의 집계를 분리한 이미지 트랜스포머다. 깊은 모형의 학습을 돕는 LayerScale과 분류 토큰만 갱신하는 클래스 주의 단계를 사용한다.
DeiT
DeiT는 이미지 트랜스포머를 효율적으로 학습하기 위한 모형 계열과 학습 방법이다. 데이터 증강과 규제에 더해 교사 예측을 전달받는 증류 토큰을 활용할 수 있다.
gMLP
gMLP는 다층 퍼셉트론에 공간 게이팅을 결합한 신경망이다. 토큰 사이의 선형 변환 결과를 다른 특징에 원소별로 곱해 위치 간 정보를 반영한다.
ResMLP
ResMLP는 패치 사이의 선형 결합과 패치별 채널 변환을 번갈아 적용하는 잔차 신경망이다. 이미지 분류를 다층 퍼셉트론 기반의 단순한 연산 구조로 다룬다.
ConvMixer
ConvMixer는 이미지 패치 표현에 합성곱을 반복 적용하는 시각 인식 신경망이다. 공간 위치 사이의 정보 혼합과 채널 사이의 정보 혼합을 서로 다른 연산으로 수행한다.
MLP-Mixer
MLP-Mixer는 다층 퍼셉트론으로 이미지 패치 사이와 채널 사이의 정보를 번갈아 결합하는 시각 인식 모형이다. 반복 블록의 정보 혼합에 자기 주의나 공간 합성곱을 사용하지 않는다.
CoAtNet
CoAtNet은 합성곱과 자기 주의를 단계적으로 결합하는 시각 인식 모형 계열이다. 입력에 독립적인 공간 가중치와 입력에 따라 변하는 관계 가중치를 함께 활용한다.
CvT
CvT는 토큰 생성과 주의 연산의 투영에 합성곱을 도입한 시각 트랜스포머다. 공간 격자의 국소 정보를 반영하면서 단계별로 토큰 수와 채널 크기를 조절한다.
Swin Transformer
Swin Transformer는 지역 창 안의 자기 주의와 창 위치 이동을 결합한 계층적 시각 트랜스포머다. 단계가 깊어질수록 패치를 병합해 여러 해상도의 특징을 만든다.
ViT의 합성곱 스템
ViT의 합성곱 스템은 이미지에서 토큰을 만드는 초기 처리 부분을 여러 작은 합성곱 층으로 구성하는 설계다. 큰 보폭의 패치 투영을 점진적인 공간 축소로 바꿔 학습 특성을 조절한다.
Mobile-Former
Mobile-Former는 지역 특징을 처리하는 MobileNet 계열 경로와 소수 토큰을 처리하는 트랜스포머 경로를 병렬로 구성한 신경망이다. 두 경로 사이의 양방향 연결로 지역 정보와 전역 정보를 교환한다.
MobileViT
MobileViT는 합성곱의 국소 처리와 트랜스포머의 전역 상호작용을 결합한 경량 시각 인식 신경망이다. 특징을 패치 단위로 펼쳐 처리한 뒤 다시 공간 격자로 복원한다.
ConvNeXt
ConvNeXt는 합성곱 신경망의 구조와 학습 방식을 재검토해 만든 시각 인식 모형 계열이다. 트랜스포머에서 얻은 설계 관점을 활용하면서도 특징 계산은 합성곱 기반으로 구성한다.
RepLKNet
RepLKNet은 큰 깊이별 합성곱 커널을 활용하는 이미지 인식 신경망이다. 작은 커널을 여러 층 쌓는 설계와 비교해 큰 공간 범위를 직접 처리하는 구조를 탐구한다.
EfficientNetV2
EfficientNetV2는 학습 속도와 매개변수 효율을 함께 고려해 설계한 합성곱 신경망 계열이다. 모형 구조의 선택과 점진적인 학습 해상도 조절을 결합한다.
RepVGG
RepVGG는 여러 분기를 사용해 학습한 뒤 이를 단일 합성곱으로 변환해 배포하는 신경망이다. 학습할 때의 구조와 추론할 때의 구조를 다르게 만드는 구조적 재매개변수화가 핵심이다.
EfficientNet
EfficientNet은 신경망의 깊이, 채널 폭, 입력 해상도를 함께 조절하는 복합 확장 원리를 적용한 합성곱 신경망 계열이다. 작은 기준 구조에서 정한 비율을 사용해 서로 다른 계산 예산의 모형을 만든다.
GhostNet
GhostNet은 적은 수의 기본 특징 맵을 만든 뒤 저비용 변환으로 추가 특징을 생성하는 경량 합성곱 신경망이다. 특징 맵 사이의 중복을 모든 채널을 비싼 합성곱으로 계산하지 않아도 되는 구조로 활용한다.
다중 깊이 자기 증류
다중 깊이 자기 증류는 한 신경망의 여러 깊이에 분류기를 두고 깊은 부분의 예측과 특징을 얕은 부분에 전달하는 학습 구성이다. 별도의 사전학습 교사 대신 같은 모형 내부의 깊이 차이를 활용한다.
본 어게인 신경망
본 어게인 신경망은 학습을 마친 교사와 같은 구조의 학생을 새로 초기화한 뒤 교사 출력으로 다시 학습하는 증류 방법이다. 모형을 작게 만드는 것과 증류로 성능을 높이는 효과를 구분해 조사한다.
변분 정보 증류
변분 정보 증류는 학생 표현으로 교사 표현의 조건부 분포를 예측하면서 두 표현의 상호정보량 하한을 높이는 지식 전달 방법이다. 직접 계산하기 어려운 정보량 대신 학습 가능한 변분 분포를 사용한다.
유사도 보존 지식 증류
유사도 보존 지식 증류는 배치 표본들이 교사 안에서 보이는 활성 유사도 관계를 학생도 유지하도록 학습하는 방법이다. 교사의 특징 좌표를 그대로 모방하기보다 표본 쌍의 관계 행렬을 비교한다.
확률적 지식 전달
확률적 지식 전달은 교사와 학생의 특징 공간에서 표본 간 이웃 관계를 확률분포로 바꾼 뒤 그 분포를 맞추는 방법이다. 특징의 좌표 자체보다 표본들이 서로 얼마나 가까운지를 전달한다.
지식 검토 증류
지식 검토 증류는 학생의 한 단계 특징을 교사의 여러 단계 특징으로 지도하는 지식 증류 방법이다. 같은 깊이끼리만 연결하는 방식에서 벗어나 이전 단계의 정보를 더 깊은 학생 표현에도 전달한다.
분리 지식 증류
분리 지식 증류는 정답 범주에 관한 지식과 나머지 범주 사이의 상대 관계를 나누어 전달하는 출력 기반 증류 방법이다. 두 손실의 비중을 독립적으로 조절해 교사 예측의 서로 다른 정보를 활용한다.
대조 표현 증류
대조 표현 증류는 교사와 학생 신경망의 표현을 대조 학습으로 연결해 지식을 전달하는 방법이다. 같은 관측의 교사 학생 표현과 서로 다른 관측에서 나온 표현을 구별하도록 학생을 학습한다.
Circle Loss
Circle Loss는 양성 유사도와 음성 유사도가 목표에서 얼마나 벗어났는지에 따라 가중을 달리하는 깊은 특징 학습 손실이다. 같은 범주는 가깝게 하고 다른 범주는 구별되게 만드는 최적화의 강도를 적응적으로 조정한다.
다중 유사도 손실
다중 유사도 손실은 깊은 거리 학습에서 학습할 점쌍을 먼저 고르고 그 쌍의 영향도 다시 조절하는 손실이다. 쌍 자체의 유사도뿐 아니라 같은 기준점을 공유하는 다른 양성 및 음성 쌍과의 관계를 반영한다.
정보 드롭아웃
정보 드롭아웃은 신경망 활성값에 곱셈 잡음을 넣고 정보 병목에 연결된 정규화로 표현을 학습하는 방법이다. 과제에 필요한 정보는 유지하면서 입력의 불필요한 세부 정보에 대한 의존을 줄이려 한다.
심층 변분 정보 병목
심층 변분 정보 병목은 정보 병목 목적을 변분 근사해 확률적 신경망 표현을 학습하는 방법이다. 목표 예측 손실에 잠재 분포와 기준 분포 사이 KL 발산 벌점을 결합한다.
국소 피셔 판별 분석
국소 피셔 판별 분석은 범주 사이의 구별을 높이면서 같은 범주 안의 지역 구조도 고려하는 지도 차원 축소 방법이다. 같은 레이블의 자료가 여러 덩어리로 나뉘는 다봉 분포를 다루기 위한 선형 투영을 구한다.
정보 이론적 거리 학습
정보 이론적 거리 학습은 점쌍의 유사성과 비유사성 제약을 만족하면서 기준 거리 행렬에서 정보 이론적으로 가까운 거리 행렬을 구하는 방법이다. 대표적인 ITML은 LogDet 발산으로 행렬의 변화를 정규화한다.
LMNN
LMNN은 같은 범주의 목표 이웃은 가깝게 유지하고 다른 범주의 침입자는 여유 간격 밖으로 밀어내도록 거리를 학습하는 방법이다. 최근접 이웃 분류에 사용할 마할라노비스 거리 행렬을 구한다.
이웃 성분 분석
이웃 성분 분석은 같은 레이블의 이웃이 선택될 확률을 높이도록 선형 변환을 배우는 지도 거리 학습 방법이다. 최근접 이웃의 불연속적인 선택을 부드러운 확률로 바꿔 학습 목적을 구성한다.
ArcFace
ArcFace는 정규화한 특징과 범주 가중치 사이의 각도에 여유 간격을 더해 얼굴 임베딩을 학습하는 손실 방법이다. 정답 범주에 더 엄격한 각도 조건을 적용해 범주 간 구별을 유도한다.
CosFace
CosFace는 정규화된 특징의 정답 코사인 점수에서 일정한 여유 간격을 빼는 대규모 마진 코사인 손실을 사용하는 얼굴 표현 학습 방법이다. 범주 간 분리를 코사인 점수의 조건으로 유도한다.
FaceNet
FaceNet은 얼굴 이미지를 벡터 공간에 매핑해 같은 사람의 이미지는 가깝고 다른 사람의 이미지는 멀어지도록 학습하는 방법이다. 학습된 임베딩의 거리를 검증, 인식, 군집화에 활용한다.
지도 대조 학습
지도 대조 학습은 정답 레이블을 이용해 같은 범주의 표현은 가깝게, 다른 범주의 표현은 구별되게 학습하는 방법이다. 하나의 기준 표본에 대해 같은 범주의 여러 표본을 양성으로 활용할 수 있다.
DeepCluster
DeepCluster는 신경망의 이미지 특징을 군집화하고 그 군집 할당을 임시 학습 목표로 삼는 비지도 표현 학습 방법이다. 특징 추출, 군집화, 신경망 갱신을 번갈아 반복한다.
SwAV
SwAV는 같은 이미지의 서로 다른 증강 뷰가 유사한 군집 할당을 갖도록 학습하는 자기지도 방법이다. 한 뷰에서 계산한 할당 코드를 다른 뷰의 특징으로 예측하는 교환 예측을 사용한다.
ALIGN
ALIGN은 대규모 이미지와 대체 텍스트 쌍을 이용해 시각 표현과 언어 표현을 정렬하는 이중 인코더 방법이다. 대조 손실로 대응 쌍을 학습하며 이미지와 문장을 공통 공간에서 비교한다.
CLIP
CLIP은 이미지와 텍스트를 각각 인코딩해 서로 대응하는 쌍이 공통 표현 공간에서 가까워지도록 학습하는 모형이다. 학습한 대응 관계를 이용해 텍스트 설명으로 이미지의 후보 범주를 비교할 수 있다.
data2vec
data2vec은 가려진 입력에서 원래 전체 입력을 본 교사의 문맥화된 잠재 표현을 예측하는 자기지도 학습 틀이다. 음성, 시각, 언어에서 같은 핵심 학습 방식을 사용하면서 입력 처리와 마스크 방식은 자료에 맞춘다.
iBOT
iBOT은 교사 망이 학습 도중 생성하는 시각 토큰 분포를 목표로 마스크된 패치를 예측하는 자기지도 학습 방법이다. 이미지 전체를 요약하는 클래스 토큰의 자기증류와 패치 단위 예측을 결합한다.
BEiT
BEiT는 가려진 이미지 영역에 해당하는 이산 시각 토큰을 예측하며 비전 트랜스포머를 사전학습하는 방법이다. 입력으로 쓰는 이미지 패치와 예측 목표인 시각 토큰을 구분한다.
마스크드 오토인코더
마스크드 오토인코더는 이미지 패치의 일부를 가리고 보이는 패치로부터 가려진 픽셀을 복원하며 시각 표현을 학습하는 방법이다. 대표적인 MAE 구성은 보이는 패치만 처리하는 인코더와 가벼운 복원 디코더를 사용한다.
DINO 자기증류
DINO는 학생 망이 다른 증강 뷰에서 나온 교사 망의 출력 분포를 맞추도록 학습하는 자기지도 방법이다. 교사는 학생 가중치의 이동평균으로 갱신되며 정답 레이블 없이 시각 표현을 배운다.
VICReg
VICReg은 두 뷰의 표현을 가깝게 만드는 항에 좌표별 분산 유지와 공분산 감소를 결합한 자기지도 학습 방법이다. 표현이 모든 입력에서 같은 값으로 무너지는 문제를 손실의 명시적 정규화로 다룬다.
Barlow Twins
Barlow Twins는 같은 이미지의 두 증강 뷰에서 얻은 표현 사이 교차상관 행렬을 단위행렬에 가깝게 학습하는 자기지도 방법이다. 대응 성분의 일치와 서로 다른 성분의 중복 감소를 함께 목표로 삼는다.
SimSiam
SimSiam은 가중치를 공유하는 두 경로에서 같은 이미지의 증강 뷰를 비교해 표현을 학습하는 방법이다. 예측기와 기울기 차단을 사용하며 별도의 모멘텀 인코더나 음성 쌍을 요구하지 않는다.
BYOL
BYOL은 같은 이미지의 다른 증강 뷰에서 얻은 목표 표현을 예측하도록 학습하는 자기지도 표현 학습 방법이다. 온라인 망과 천천히 갱신되는 목표 망을 사용하며 명시적인 음성 쌍 없이 학습한다.
MoCo
MoCo는 이전 배치의 표현을 큐에 보관하고 모멘텀 인코더로 키 표현의 변화를 완만하게 만들어 대조 학습을 수행하는 방법이다. 비교할 키의 수를 현재 미니배치 크기와 별도로 정할 수 있다.
SimCLR
SimCLR은 한 이미지에서 만든 두 증강 뷰를 서로 대응시키는 대조 학습으로 시각 표현을 배우는 방법이다. 이미지의 정답 이름 대신 같은 원본에서 나왔다는 관계를 학습 신호로 쓴다.
대조 예측 코딩
대조 예측 코딩은 지금까지 관측한 맥락을 이용해 미래의 잠재 표현을 다른 후보와 구별하도록 학습하는 표현 학습 방법이다. 원래 관측을 세부적으로 복원하는 대신 예측에 필요한 특징을 인코더에 담도록 한다.
MINE 상호정보량 추정
MINE은 신경망이 출력하는 점수 함수를 학습해 상호정보량을 추정하는 방법이다. 결합분포와 주변분포의 곱 사이 KL 발산의 변분 표현을 활용한다.
확률적 이웃 매입
확률적 이웃 매입은 각 점이 다른 점을 이웃으로 선택하는 확률 분포를 만들고 그 분포가 낮은 차원에서도 비슷하도록 좌표를 조정하는 방법이다. 거리 그 자체보다 이웃의 상대적 유사도를 확률로 표현한다.
최대 분산 펼침
최대 분산 펼침은 가까운 점 사이의 거리를 유지하면서 전체 표현의 분산을 크게 만드는 비선형 차원 축소 방법이다. 점들의 내적 행렬을 변수로 두어 반정정부호 계획으로 정식화할 수 있다.
차원 축소의 신뢰도와 연속성
차원 축소의 신뢰도와 연속성은 저차원 표현에서 이웃 관계가 얼마나 보존됐는지 서로 다른 방향으로 평가하는 지표다. 신뢰도는 새로 생긴 잘못된 이웃을, 연속성은 사라진 원래 이웃을 중심으로 본다.
코랭킹 행렬
코랭킹 행렬은 원자료의 거리 순위와 저차원 표현의 거리 순위가 어떻게 대응하는지 집계한 행렬이다. 이웃 순위가 유지되거나 바뀐 양상을 한 표로 정리해 차원 축소 품질을 분석한다.
LargeVis
LargeVis는 고차원 자료의 근사 최근접 이웃 그래프를 만든 뒤 그 그래프를 낮은 차원에 배치하는 시각화 방법이다. 큰 자료에서 이웃 탐색과 배치 최적화의 계산 부담을 줄이는 데 초점을 둔다.
PaCMAP
PaCMAP은 가까운 이웃, 중간 정도로 가까운 점, 더 먼 점의 관계를 나누어 저차원 좌표를 최적화하는 차원 축소 방법이다. 최적화 단계에 따라 각 관계의 영향을 바꾸어 국소 구조와 넓은 배치를 함께 다룬다.
TriMap
TriMap은 한 점이 다른 두 점 중 어느 쪽에 더 가까운지를 나타내는 세 점 제약을 이용하는 차원 축소 방법이다. 가까운 이웃의 관계뿐 아니라 더 넓은 상대 배치를 반영하도록 삼중항을 선택하고 가중한다.
UMAP
UMAP은 데이터 점의 국소 이웃 관계를 가중 그래프로 구성하고 그 관계에 맞는 낮은 차원 좌표를 최적화하는 비선형 차원 축소 방법이다. 시각화와 후속 학습을 위한 표현에 사용한다.
국소성 보존 투영
국소성 보존 투영은 이웃 그래프의 가까운 점들이 투영 뒤에도 가깝도록 선형 변환을 구하는 차원 축소 방법이다. 전체 분산이 큰 방향보다 국소 연결 관계를 보존하는 목적 함수를 사용한다.
헤시안 고유사상
헤시안 고유사상은 데이터의 국소 접좌표에서 함수의 이차 변화량을 추정하고 이를 이용해 저차원 매개변수 좌표를 찾는 다양체 학습 방법이다. 적절한 기하 가정 아래 헤시안 에너지가 작은 함수들을 좌표로 사용한다.
국소 선형 매입
국소 선형 매입은 각 데이터 점을 가까운 이웃의 선형 결합으로 재구성하고, 그 재구성 가중치를 낮은 차원에서도 유지하도록 좌표를 찾는 방법이다. 부분별로 계산한 관계를 하나의 좌표계로 연결한다.
국소 접공간 정렬
국소 접공간 정렬은 각 데이터 점 주변에서 추정한 접공간의 좌표를 서로 맞춰 전체 저차원 좌표를 구성하는 다양체 학습 방법이다. 구부러진 데이터 구조를 여러 작은 선형 근사로 다룬다.
라플라시안 고유사상
라플라시안 고유사상은 가까운 데이터 점들을 그래프로 연결하고 그래프 라플라시안의 고유벡터를 저차원 좌표로 사용하는 차원 축소 방법이다. 국소적인 이웃 관계를 낮은 차원에서도 가깝게 표현하는 데 초점을 둔다.
확산 지도
확산 지도는 데이터 점 사이의 유사도로 만든 마르코프 전이의 고유벡터를 사용해 저차원 좌표를 구성하는 방법이다. 여러 단계의 이동 연결성을 반영해 데이터의 기하 구조를 표현한다.
SINDYc
SINDYc는 상태와 외부 입력의 후보 함수를 함께 구성해 입력을 받는 비선형 동역학을 희소 회귀로 추정하는 방법이다. 제어 입력의 효과가 상태 자체의 변화와 어떻게 결합하는지 데이터에서 찾는다.
앙상블 SINDy
앙상블 SINDy는 자료나 후보 함수 집합을 바꾸어 여러 희소 동역학 모형을 추정하고 그 결과를 결합하는 방법이다. 어떤 항이 반복해서 선택되는지와 계수 변화가 얼마나 큰지를 함께 살펴본다.
약형 SINDy
약형 SINDy는 관측값을 점마다 수치 미분하는 대신 시험 함수와 적분 관계를 이용해 희소 동역학 방정식을 추정하는 방법이다. 부분적분으로 미분을 알려진 시험 함수 쪽으로 옮겨 측정 잡음의 영향을 줄이는 데 활용한다.
PDE-FIND
PDE-FIND는 시공간 관측 자료에서 편미분과 비선형 후보항을 구성하고 희소 회귀로 지배 편미분방정식을 추정하는 방법이다. 관측한 장의 시간 변화가 어떤 소수 항으로 설명되는지 찾는다.
SINDy-PI
SINDy-PI는 미분값과 상태가 함께 들어가는 암시적 방정식이나 유리함수 형태의 동역학을 희소 회귀로 추정하는 SINDy 계열 방법이다. 후보항 하나를 다른 항들로 설명하는 여러 문제를 구성해 모형을 선택한다.