문서 둘러보기
NAS-Bench-101
NAS-Bench-101은 정해진 신경망 구조 공간의 학습 결과를 미리 계산해 둔 구조 탐색 벤치마크다. 후보를 매번 새로 학습하지 않고 기록을 조회해 탐색 알고리즘을 비교할 수 있다.
NAS-Bench-201
NAS-Bench-201은 고정된 셀 구조 공간과 여러 데이터셋의 학습 기록을 제공하는 신경망 구조 탐색 벤치마크다. 같은 후보 공간에서 다양한 탐색 방법을 비교하도록 설계되었다.
Once-for-All
Once-for-All은 여러 크기와 구조의 부분 신경망을 지원하도록 하나의 큰 네트워크를 학습하는 방식이다. 학습과 장치별 구조 선택을 분리해 다양한 자원 조건에 맞는 모형을 얻는다.
ProxylessNAS
ProxylessNAS는 작은 대리 작업 대신 목표 작업과 목표 하드웨어에서 직접 신경망 구조를 탐색하는 방법이다. 탐색의 메모리 부담을 줄이면서 실제 지연시간 같은 장치 지표를 고려한다.
DARTS
DARTS는 신경망 구조의 이산 선택을 연속적인 혼합으로 완화해 기울기로 탐색하는 방법이다. 구조를 나타내는 매개변수를 학습한 뒤 최종 이산 구조를 선택한다.
ENAS
ENAS는 큰 계산 그래프의 부분 그래프를 후보 신경망으로 삼고 후보들 사이에 매개변수를 공유하는 구조 탐색 방법이다. 제어기가 검증 성능을 보상으로 받아 구조 선택을 학습한다.
EKFAC
EKFAC은 크로네커 인수에서 얻은 고유기저에서 기울기의 대각 분산을 추적하는 자연 기울기 근사 방법이다. 고유방향을 활용하면서 그 방향별 스케일을 별도로 추정한다.
K-FAC
K-FAC은 신경망의 피셔 정보 행렬을 작은 행렬들의 크로네커 곱으로 근사해 자연 기울기 계산을 돕는 방법이다. 거대한 곡률 행렬을 직접 저장하고 역산하는 부담을 줄인다.
AdaBound
AdaBound는 성분별 적응 학습률에 시간에 따라 바뀌는 상한과 하한을 적용하는 최적화 방법이다. 초기에는 적응적 갱신을 활용하고 이후 학습률 범위를 좁히는 접근이다.
Yogi 옵티마이저
Yogi 옵티마이저는 기울기 제곱 통계의 변화 방향을 부호로 정하고 더하기 방식으로 조절하는 적응적 최적화 방법이다. 유효 학습률이 급격히 커지는 현상을 제어한다.
라데온 RX와 지포스 RTX의 제품명
라데온 RX는 AMD, 지포스 RTX는 NVIDIA의 그래픽 제품군이다. RX 9070 XT와 RTX 5070·5080은 서로 다른 회사의 제품명으로, 숫자만으로 공통 성능 순위를 정할 수 없다.
AdaBelief
AdaBelief는 관측 기울기와 기울기 이동 평균 사이의 차이를 이용해 갱신 크기를 조절하는 적응적 옵티마이저다. 기울기가 최근 경향과 얼마나 일치하는지를 스케일 추정에 반영한다.
RAdam
RAdam은 적응적 학습률의 초기 분산 문제를 보정하는 Adam 변형이다. 과거 기울기 통계가 적게 쌓인 초기에 갱신의 변동이 커질 수 있다는 관점에서 보정 항을 사용한다.
LAMB 옵티마이저
LAMB 옵티마이저는 성분별 적응 갱신과 층별 노름 조절을 결합하는 대규모 배치 학습 방법이다. Adam 계열의 갱신 방향을 층의 매개변수 규모에 맞춰 조절한다.
LARS 옵티마이저
LARS 옵티마이저는 가중치와 기울기의 층별 크기를 고려해 학습률을 조절하는 방법이다. 큰 배치를 사용하는 학습에서 층마다 다른 갱신 규모를 다루기 위해 제안되었다.
혼합 정밀도 학습
혼합 정밀도 학습은 신경망의 연산과 저장에 여러 수치 정밀도를 함께 사용하는 학습 방식이다. 저정밀 계산의 효율을 활용하면서 중요한 누적과 갱신에는 더 높은 정밀도를 사용할 수 있다.
확률적 반올림
확률적 반올림은 가까운 표현 가능 값들 중 하나를 확률적으로 선택하는 수치 변환 방식이다. 적절한 선택 확률을 사용하면 표현 범위 안에서 반올림 결과의 기댓값을 원래 값에 맞출 수 있다.
가역 잔차 신경망
가역 잔차 신경망은 뒤쪽 출력에서 앞쪽 활성값을 복원하도록 구성한 잔차 신경망이다. 역전파를 위해 대부분 층의 활성값을 계속 저장하는 부담을 줄인다.
활성값 체크포인팅
활성값 체크포인팅은 역전파에 필요한 중간값 일부만 저장하고 나머지는 필요할 때 다시 계산하는 학습 메모리 절약 방법이다. 추가 순전파 계산과 활성값 저장량을 교환한다.
Megatron-LM
Megatron-LM은 트랜스포머 층 내부의 큰 계산을 여러 장치에 나누어 대규모 언어 모형을 학습하는 모델 병렬 접근이다. 텐서 분할과 필요한 통신 연산을 결합한다.
PipeDream
PipeDream은 신경망의 층 구간을 여러 장치에 배치하고 순전파와 역전파를 교차 실행하는 파이프라인 학습 시스템이다. 실행 중인 입력에 맞는 가중치 버전을 관리한다.
GPipe
GPipe는 연속된 층들을 여러 가속기에 나누고 작은 마이크로배치를 파이프라인으로 처리하는 학습 방식이다. 한 장치의 메모리에 들어가지 않는 신경망을 여러 구간으로 실행한다.
ZeRO 학습 메모리 최적화
ZeRO는 데이터 병렬 학습에서 여러 장치가 중복 보관하는 학습 상태를 나누어 저장하는 메모리 최적화 방식이다. 옵티마이저 상태와 기울기, 매개변수의 분할 범위를 단계적으로 넓힌다.
CHOCO-SGD
CHOCO-SGD는 고정 통신 그래프에서 이웃 노드끼리 압축 정보를 교환하며 공동 목적을 학습하는 분산 최적화 방법이다. 중앙 서버에 모든 갱신을 모으는 구조 대신 가십 기반 소통을 활용한다.
TernGrad
TernGrad는 기울기를 세 가지 상태와 스케일로 표현해 분산 학습의 통신량을 줄이는 방법이다. 확률적 삼진화와 층별 처리, 기울기 클리핑 등을 활용한다.
PowerSGD
PowerSGD는 기울기 행렬을 저랭크 인자로 근사해 분산 학습의 통신량을 줄이는 방법이다. 거듭제곱 반복에 기반한 압축과 효율적인 집계를 결합한다.
기울기 압축 오차 피드백
기울기 압축 오차 피드백은 전송 과정에서 버린 갱신 성분을 잔차로 보관했다가 다음 갱신에 더하는 방법이다. 압축이 반복적으로 특정 정보를 놓치는 문제를 완화한다.
signSGD
signSGD는 확률적 기울기의 각 성분에서 크기 대신 부호를 사용해 갱신하는 최적화 방법이다. 분산 구성에서는 여러 작업자의 부호를 다수결로 결합해 통신 표현을 줄일 수 있다.
QSGD
QSGD는 분산 학습에서 전송할 기울기를 확률적으로 양자화하고 부호화해 통신량을 줄이는 방법이다. 표현 단계 수를 조절해 압축 정도와 추가 추정 분산 사이의 균형을 정한다.
Ditto 개인화 학습
Ditto 개인화 학습은 공통 모형을 학습하면서 각 참여자에게 별도 모형을 두는 연합 학습 틀이다. 개인화 모형이 공통 모형에서 지나치게 멀어지지 않도록 정규화한다.
FedRep
FedRep은 참여자들이 공유하는 특징 표현과 각 참여자의 개별 출력 헤드를 나누어 학습하는 개인화 연합 학습 방법이다. 공통 표현을 활용하면서 지역 작업에 맞는 결정을 유지한다.
FedBN
FedBN은 배치 정규화 관련 상태와 매개변수를 참여자별로 유지하는 연합 학습 방법이다. 입력 특징 분포가 서로 다른 환경에서 지역 정규화를 이용해 공동 학습을 돕는다.
FedOpt
FedOpt는 참여자의 지역 최적화와 서버의 최적화를 구분해 구성하는 연합 학습 틀이다. 모은 지역 변화량을 서버에서 적응적 옵티마이저로 처리하는 FedAdam 등의 구성을 포함한다.
FedNova
FedNova는 참여자마다 다른 지역 갱신량을 정규화해 결합하는 연합 최적화 방법이다. 지역 학습 횟수나 풀이 방식의 차이 때문에 의도와 다른 목적 함수를 학습하는 문제를 다룬다.
SCAFFOLD
SCAFFOLD는 참여자별 지역 학습이 공통 목표에서 벗어나는 현상을 제어 변수로 보정하는 연합 학습 방법이다. 참여자와 서버의 갱신 방향 추정치를 함께 활용한다.
FedProx
FedProx는 참여자 간 데이터와 계산 환경의 차이를 고려하는 연합 최적화 방법이다. 지역 목적에 현재 공통 모형에서 멀어지는 변화를 억제하는 근접 항을 더한다.
FedAvg
FedAvg는 여러 참여자가 공통 모형을 각자의 데이터로 학습한 뒤 결과 가중치를 서버에서 평균하는 연합 학습 방법이다. 원시 학습 자료를 한곳에 모으는 대신 지역 갱신을 반복적으로 결합한다.
작업 벡터
작업 벡터는 사전 학습 가중치에서 작업별 미세 조정 가중치로 이동한 차이를 나타내는 벡터다. 이 차이를 더하거나 빼고 크기를 조절해 모형의 동작을 편집하는 작업 산술에 사용한다.
피셔 가중 모형 병합
피셔 가중 모형 병합은 각 모형의 매개변수 중요도를 피셔 정보로 근사해 가중 평균하는 결합 방법이다. 모든 좌표와 모형을 동일하게 평균하는 대신 추정된 정밀도를 반영한다.
DARE 모형 병합
DARE 모형 병합은 미세 조정 가중치의 변화량 일부를 무작위로 제거하고 남은 값을 재조정해 여러 모형의 결합을 돕는 방법이다. 전체 기반 가중치 대신 기반에서 달라진 부분에 적용한다.
TIES 모형 병합
TIES 모형 병합은 미세 조정으로 생긴 가중치 변화의 작은 성분을 줄이고 부호 충돌을 정리해 여러 모형을 결합하는 방법이다. 각 작업의 갱신이 서로 상쇄되는 간섭을 완화한다.
SWAG 불확실성 추정
SWAG는 학습 경로의 가중치들로 가우스 분포를 근사하고 그 분포에서 모형을 뽑아 예측을 평균하는 불확실성 추정 방법이다. 가중치 평균에 저랭크와 대각 공분산 정보를 더한다.
모형 수프
모형 수프는 같은 사전 학습 모형에서 서로 다른 설정으로 미세 조정한 모형들의 가중치를 평균해 하나의 모형을 만드는 접근이다. 여러 후보를 매번 따로 실행하는 앙상블의 추론 부담을 줄일 수 있다.
Lookahead 옵티마이저
Lookahead 옵티마이저는 내부 최적화가 갱신하는 빠른 가중치와 이를 주기적으로 따라가는 느린 가중치를 함께 사용하는 학습 방법이다. 기존 최적화 방법에 바깥 갱신 구조를 더한다.
확률적 가중치 평균
확률적 가중치 평균은 학습 경로에서 얻은 여러 가중치를 평균해 하나의 모형으로 사용하는 방법이다. 일정하거나 주기적으로 바뀌는 학습률 구간의 해를 활용하는 SWA가 대표적인 구성이다.
적응형 날카로움 인지 최소화
적응형 날카로움 인지 최소화는 매개변수의 스케일을 고려해 주변 손실을 평가하는 학습 방법이다. 고정된 절대 반경으로 날카로움을 측정할 때 재매개변수화에 따라 값이 달라질 수 있는 문제를 다룬다.
날카로움 인지 최소화
날카로움 인지 최소화는 현재 매개변수의 손실뿐 아니라 주변 영역에서의 손실도 낮추려는 학습 방법이다. 매개변수에 작은 변화를 가했을 때 손실이 급격히 커지는 해를 피하도록 목적을 구성한다.
AdaHessian
AdaHessian은 손실 함수의 헤시안 대각을 근사해 갱신 크기에 곡률 정보를 반영하는 적응적 최적화 방법이다. 무작위 추정과 이동 평균 등을 이용해 큰 곡률 행렬을 직접 저장하는 부담을 줄인다.
Shampoo 옵티마이저
Shampoo 옵티마이저는 가중치 텐서의 축별 구조를 활용해 기울기에 사전조건을 적용하는 최적화 방법이다. 모든 매개변수의 거대한 결합 행렬 대신 축마다 작은 행렬을 유지한다.
Adafactor
Adafactor는 행렬 가중치의 기울기 이차 모멘트를 행과 열의 통계로 근사해 저장 메모리를 줄이는 적응적 최적화 방법이다. 매개변수별 크기 조절과 갱신 안정화 구성을 함께 사용한다.
Lion 옵티마이저
Lion 옵티마이저는 기울기와 모멘텀을 결합한 값의 부호로 매개변수의 갱신 방향을 정하는 최적화 방법이다. 이차 모멘트 배열을 유지하지 않아 옵티마이저 상태 메모리를 줄인다.
SOAP 옵티마이저
SOAP 옵티마이저는 사전조건자의 고유기저로 옮긴 공간에서 Adam 방식의 갱신을 수행하는 최적화 방법이다. 좌표 변환과 지속적인 모멘트 갱신을 결합해 학습 효율과 안정성을 개선한다.
GaLore
GaLore는 기울기를 저랭크 공간으로 투영해 옵티마이저 상태의 메모리를 줄이는 학습 방법이다. 기반 가중치를 고정하는 저랭크 적응과 달리 전체 가중치의 학습을 허용한다.
LoRA 플러스
LoRA 플러스는 저랭크 보정을 이루는 두 행렬에 서로 다른 학습률을 적용하는 미세 조정 방법이다. 같은 학습률을 사용하는 대신 두 갱신의 비율을 조정해 학습 효율을 개선한다.
ReLoRA
ReLoRA는 저랭크 갱신을 주기적으로 기반 가중치에 합치고 다시 시작해 더 높은 랭크의 누적 변화를 학습하는 방법이다. 한 번의 저랭크 보정으로 전체 학습을 제한하는 문제를 완화한다.
IA3 적응
IA3 적응은 학습한 벡터로 트랜스포머 내부 활성값을 성분별 조절하는 미세 조정 방법이다. 기반 가중치를 고정한 채 적은 수의 스케일 매개변수로 작업에 적응시킨다.
VeRA
VeRA는 여러 층에서 공유하는 고정 무작위 저랭크 행렬에 작은 스케일 벡터를 학습해 모형을 적응시키는 방법이다. 작업별로 학습하고 저장할 매개변수를 줄이는 데 초점을 둔다.
접두어 튜닝
접두어 튜닝은 언어 모형의 가중치를 고정하고 작업별 연속 벡터인 접두어를 학습하는 적응 방법이다. 후속 토큰이 이 접두어를 가상 토큰처럼 참조하도록 조건을 제공한다.
프롬프트 튜닝
프롬프트 튜닝은 고정된 언어 모형의 입력에 학습 가능한 소프트 프롬프트를 붙여 작업에 적응시키는 방법이다. 사람이 읽는 지시문을 탐색하는 것과 달리 연속 벡터를 역전파로 조절한다.
AdaLoRA
AdaLoRA는 미세 조정에 사용할 저랭크 보정의 예산을 가중치 행렬별 중요도에 따라 배분하는 방법이다. 모든 행렬에 같은 랭크를 주는 대신 학습 과정에서 필요한 갱신 성분을 선택한다.
LoRA
LoRA는 학습된 가중치를 고정하고 저랭크 행렬의 곱으로 표현한 보정만 학습하는 적응 방법이다. 작업별로 전체 모형을 새로 학습하고 저장하는 부담을 줄인다.
DoRA
DoRA는 가중치의 크기와 방향을 분리하고 방향 변화에 저랭크 보정을 적용하는 미세 조정 방법이다. 적은 수의 학습 매개변수로 기반 모형을 적응시키는 접근에 속한다.
QLoRA
QLoRA는 4비트로 양자화한 기반 언어 모형을 고정하고 저랭크 어댑터를 학습하는 미세 조정 방식이다. 기반 가중치의 저장 비용을 낮추면서 작업에 맞는 작은 추가 매개변수를 갱신한다.
Wanda 가지치기
Wanda 가지치기는 가중치의 절댓값과 대응 입력 활성값의 크기를 함께 사용해 언어 모형의 가중치를 제거하는 방법이다. 각 출력 뉴런에 연결된 가중치끼리 중요도를 비교한다.
SparseGPT
SparseGPT는 학습이 끝난 대규모 언어 모형에서 일부 가중치를 제거하는 가지치기 방법이다. 층별 출력 재구성 관점에서 남은 가중치를 조정해 별도의 전체 재학습 없이 희소성을 만든다.
QuaRot
QuaRot은 언어 모형의 내부 표현을 회전해 큰 이상값을 분산시키고 저비트 양자화를 돕는 방법이다. 적절히 대응시킨 변환으로 양자화 전의 계산은 유지하면서 가중치와 활성값, 키·값 캐시의 표현을 줄인다.
SpinQuant
SpinQuant는 언어 모형의 저비트 양자화에 유리한 회전 행렬을 학습하는 방법이다. 고정밀 계산에서 출력을 유지하는 변환들 가운데 양자화 후 정확도에 도움이 되는 회전을 찾는다.
BitNet
BitNet은 선형층을 저비트 계산 구조로 바꾸고 처음부터 그 구조에 맞춰 학습하는 트랜스포머 계열이다. 원래 제안에서는 BitLinear 층을 이용해 이진 가중치를 학습한다.
BitNet b1-58
BitNet b1.58은 저비트 언어 모형의 가중치를 -1, 0, 1의 세 값으로 표현하는 BitNet 변형이다. 이름의 1.58은 세 가지 상태를 나타내는 정보량 log₂3의 근삿값이다.
LLM int8 양자화
LLM int8 양자화는 트랜스포머의 행렬 곱에서 대부분의 계산을 8비트로 처리하고 이상값 특징 차원을 고정밀 계산으로 분리하는 방법이다. 벡터별 양자화와 혼합 정밀도 분해를 함께 사용한다.
SmoothQuant
SmoothQuant는 활성값의 큰 채널 값을 완화하는 등가 스케일 변환으로 언어 모형의 가중치와 활성값 양자화를 돕는 방법이다. 가중치와 활성값을 모두 8비트로 처리하는 구성을 지원한다.
AWQ 양자화
AWQ 양자화는 활성값 통계를 이용해 중요한 가중치 채널을 찾아 저비트 가중치 변환의 오차를 줄이는 방법이다. 학습이 끝난 언어 모형의 가중치를 압축하는 데 사용한다.
GPTQ 양자화
GPTQ 양자화는 근사적인 이차 정보를 활용해 학습이 끝난 언어 모형의 가중치를 저비트로 바꾸는 방법이다. 층 출력의 변화를 작게 유지하는 방향으로 가중치를 변환한다.
H2O 캐시 관리
H2O 캐시 관리는 언어 모형의 키·값 캐시에 최근 토큰과 주의 기여가 큰 토큰을 함께 남기는 교체 정책이다. 제한된 캐시 예산에서 과거 토큰을 선택적으로 유지한다.
StreamingLLM
StreamingLLM은 처음 일부 토큰과 최근 토큰의 키·값 캐시를 함께 유지해 긴 입력 흐름을 처리하는 언어 모형 추론 방식이다. 주의가 초기 토큰에 집중되는 주의 싱크 현상을 활용한다.
Lookahead 디코딩
Lookahead 디코딩은 별도의 초안 모형 없이 같은 언어 모형으로 여러 토큰 후보를 만들고 검증하는 병렬 생성 방식이다. 야코비 반복에서 얻은 토큰 묶음을 활용해 순차적인 생성 단계 수를 줄인다.
EAGLE 디코딩
EAGLE 디코딩은 언어 모형의 내부 특징을 예측해 토큰 초안을 만들고 목표 모형으로 검증하는 생성 가속 방식이다. 특징 예측에 다음 시점의 토큰 정보를 함께 넣어 미래 특징의 불확실성을 줄인다.
Medusa 디코딩
Medusa 디코딩은 언어 모형에 여러 예측 헤드를 붙여 후속 토큰 후보를 만들고 한 번에 검증하는 생성 가속 방식이다. 별도의 작은 초안 모형 대신 같은 기반 모형의 표현을 활용한다.
추측 디코딩
추측 디코딩은 작은 초안 모형이 제안한 여러 토큰을 목표 모형으로 함께 검사하는 생성 방식이다. 적절한 수락과 보정 절차를 사용하면 목표 모형의 표본 분포를 유지하면서 순차 실행의 부담을 줄일 수 있다.
PagedAttention
PagedAttention은 언어 모형의 키·값 캐시를 고정 크기 블록으로 관리하는 주의 계산 방식이다. 가상 메모리의 페이징 관점을 활용해 요청마다 달라지는 캐시의 낭비와 중복을 줄인다.
그룹 질의 주의
그룹 질의 주의는 여러 질의 헤드가 그룹별로 키·값 헤드를 공유하는 주의 구조다. 다중 헤드 주의와 하나의 키·값 헤드를 사용하는 다중 질의 주의 사이의 구성을 제공한다.
FlashAttention
FlashAttention은 GPU 메모리 사이의 데이터 이동을 줄여 정확한 주의 연산을 계산하는 알고리즘이다. 큰 중간 주의 행렬 전체를 저장하지 않고 입력을 작은 블록으로 나눠 처리한다.
FlashAttention-2
FlashAttention-2는 정확한 GPU 주의 연산의 작업 분배와 병렬화를 개선한 알고리즘이다. FlashAttention의 메모리 절약 원리를 유지하면서 연산 배치와 스레드 사이의 통신을 조절한다.
HGRN
HGRN은 층이 깊어질수록 망각 게이트의 하한을 높이는 계층적 게이트 순환 신경망이다. 아래층과 위층이 서로 다른 시간 범위의 정보를 다루도록 유도한다.
xLSTM
xLSTM은 LSTM의 게이트와 기억 구조를 확장한 신경망 계열이다. 지수형 게이팅과 안정화 기법, 스칼라 및 행렬 기억의 변형을 잔차 블록에 결합한다.
Griffin 신경망
Griffin은 게이트 선형 순환과 지역 주의를 결합하는 언어 시퀀스 모형이다. 순환 상태의 요약 기억과 가까운 토큰을 직접 참조하는 처리를 함께 활용한다.
선형 순환 유닛
선형 순환 유닛은 대각화한 선형 상태 갱신과 적절한 초기화·정규화를 활용하는 시퀀스 처리 블록이다. 긴 시퀀스에서 순환 신경망의 학습과 실행 특성을 개선하는 설계다.
Gated DeltaNet
Gated DeltaNet은 기억을 감쇠하는 게이트와 기존 키·값 연상을 수정하는 델타 규칙을 결합한 시퀀스 모형이다. 행렬형 상태의 전반적인 망각과 특정 키 방향의 갱신을 함께 다룬다.
델타 규칙 빠른 가중치
델타 규칙 빠른 가중치는 키로 읽은 기존 값과 새 값의 차이를 이용해 연상 기억 행렬을 갱신하는 방식이다. 새 키·값 외적을 계속 더하는 규칙과 달리 현재 기억의 예측을 수정한다.
Mamba-2
Mamba-2는 상태 공간과 주의 연산의 구조적 쌍대성을 활용한 시퀀스 모형이다. Mamba의 선택적 상태 공간을 효율적인 행렬 계산에 맞도록 재구성한다.
게이트 선형 주의
게이트 선형 주의는 선형 주의의 행렬형 기억 상태에 입력에 따른 망각 게이트를 적용하는 연산이다. GLA는 이러한 구조와 메모리 이동을 고려한 학습 계산을 결합한다.
Hyena 시퀀스 모형
Hyena는 긴 합성곱과 입력에 따른 게이팅을 교대로 결합하는 시퀀스 처리 연산이다. 조밀한 자기 주의의 이차 비용을 줄이는 대체 구조로 제안되었다.
RWKV
RWKV는 시간 혼합과 채널 혼합으로 시퀀스를 처리하는 신경망 구조다. 학습의 병렬 계산과 순환 상태를 사용하는 추론을 함께 고려해 설계한다.
Mamba 신경망
Mamba는 입력 내용에 따라 정보의 전달과 망각을 조절하는 선택적 상태 공간 시퀀스 모형이다. 주의 연산 대신 순환 상태 갱신과 효율적인 병렬 계산을 활용한다.
RetNet
RetNet은 감쇠하는 기억 상태를 활용하는 retention 연산으로 시퀀스를 처리하는 신경망이다. 같은 연산을 병렬, 순환, 청크 단위 순환 형태로 계산할 수 있게 설계한다.
S4D
S4D는 상태 행렬을 대각 형태로 제한한 S4 계열의 시퀀스 모형이다. 단순한 계산 구조뿐 아니라 대각 원소의 초기화와 매개변수화가 긴 기억의 학습에 미치는 영향을 다룬다.
선형 상태 공간 층
선형 상태 공간 층은 연속시간 선형 동역학을 시퀀스 처리의 학습 층으로 사용하는 구조다. 순환 갱신과 시간 합성곱, 연속시간 계산을 하나의 상태 공간 관점으로 연결한다.
S5 상태 공간 층
S5는 하나의 다중 입력·다중 출력 상태 공간을 사용하는 시퀀스 처리 층이다. S4의 설계를 바탕으로 초기화와 매개변수화를 구성하고 병렬 스캔을 활용한다.
S4 상태 공간 모형
S4는 구조화된 상태 공간 표현을 활용해 긴 시퀀스를 처리하는 신경망 모형이다. 선형 동역학의 기억 구조와 효율적인 계산 방식을 결합한다.
HiPPO
HiPPO는 과거 신호를 다항식 기저로 투영해 온라인으로 압축하는 기억 구조의 틀이다. 과거 시점의 중요도를 정하는 측도에 따라 근사 문제와 상태 갱신이 달라진다.