문서 둘러보기
signSGD
signSGD는 확률적 기울기의 각 성분에서 크기 대신 부호를 사용해 갱신하는 최적화 방법이다. 분산 구성에서는 여러 작업자의 부호를 다수결로 결합해 통신 표현을 줄일 수 있다.
QSGD
QSGD는 분산 학습에서 전송할 기울기를 확률적으로 양자화하고 부호화해 통신량을 줄이는 방법이다. 표현 단계 수를 조절해 압축 정도와 추가 추정 분산 사이의 균형을 정한다.
Ditto 개인화 학습
Ditto 개인화 학습은 공통 모형을 학습하면서 각 참여자에게 별도 모형을 두는 연합 학습 틀이다. 개인화 모형이 공통 모형에서 지나치게 멀어지지 않도록 정규화한다.
FedRep
FedRep은 참여자들이 공유하는 특징 표현과 각 참여자의 개별 출력 헤드를 나누어 학습하는 개인화 연합 학습 방법이다. 공통 표현을 활용하면서 지역 작업에 맞는 결정을 유지한다.
FedBN
FedBN은 배치 정규화 관련 상태와 매개변수를 참여자별로 유지하는 연합 학습 방법이다. 입력 특징 분포가 서로 다른 환경에서 지역 정규화를 이용해 공동 학습을 돕는다.
FedOpt
FedOpt는 참여자의 지역 최적화와 서버의 최적화를 구분해 구성하는 연합 학습 틀이다. 모은 지역 변화량을 서버에서 적응적 옵티마이저로 처리하는 FedAdam 등의 구성을 포함한다.
FedNova
FedNova는 참여자마다 다른 지역 갱신량을 정규화해 결합하는 연합 최적화 방법이다. 지역 학습 횟수나 풀이 방식의 차이 때문에 의도와 다른 목적 함수를 학습하는 문제를 다룬다.
SCAFFOLD
SCAFFOLD는 참여자별 지역 학습이 공통 목표에서 벗어나는 현상을 제어 변수로 보정하는 연합 학습 방법이다. 참여자와 서버의 갱신 방향 추정치를 함께 활용한다.
FedProx
FedProx는 참여자 간 데이터와 계산 환경의 차이를 고려하는 연합 최적화 방법이다. 지역 목적에 현재 공통 모형에서 멀어지는 변화를 억제하는 근접 항을 더한다.
FedAvg
FedAvg는 여러 참여자가 공통 모형을 각자의 데이터로 학습한 뒤 결과 가중치를 서버에서 평균하는 연합 학습 방법이다. 원시 학습 자료를 한곳에 모으는 대신 지역 갱신을 반복적으로 결합한다.
작업 벡터
작업 벡터는 사전 학습 가중치에서 작업별 미세 조정 가중치로 이동한 차이를 나타내는 벡터다. 이 차이를 더하거나 빼고 크기를 조절해 모형의 동작을 편집하는 작업 산술에 사용한다.
피셔 가중 모형 병합
피셔 가중 모형 병합은 각 모형의 매개변수 중요도를 피셔 정보로 근사해 가중 평균하는 결합 방법이다. 모든 좌표와 모형을 동일하게 평균하는 대신 추정된 정밀도를 반영한다.
DARE 모형 병합
DARE 모형 병합은 미세 조정 가중치의 변화량 일부를 무작위로 제거하고 남은 값을 재조정해 여러 모형의 결합을 돕는 방법이다. 전체 기반 가중치 대신 기반에서 달라진 부분에 적용한다.
TIES 모형 병합
TIES 모형 병합은 미세 조정으로 생긴 가중치 변화의 작은 성분을 줄이고 부호 충돌을 정리해 여러 모형을 결합하는 방법이다. 각 작업의 갱신이 서로 상쇄되는 간섭을 완화한다.
SWAG 불확실성 추정
SWAG는 학습 경로의 가중치들로 가우스 분포를 근사하고 그 분포에서 모형을 뽑아 예측을 평균하는 불확실성 추정 방법이다. 가중치 평균에 저랭크와 대각 공분산 정보를 더한다.
모형 수프
모형 수프는 같은 사전 학습 모형에서 서로 다른 설정으로 미세 조정한 모형들의 가중치를 평균해 하나의 모형을 만드는 접근이다. 여러 후보를 매번 따로 실행하는 앙상블의 추론 부담을 줄일 수 있다.
Lookahead 옵티마이저
Lookahead 옵티마이저는 내부 최적화가 갱신하는 빠른 가중치와 이를 주기적으로 따라가는 느린 가중치를 함께 사용하는 학습 방법이다. 기존 최적화 방법에 바깥 갱신 구조를 더한다.
확률적 가중치 평균
확률적 가중치 평균은 학습 경로에서 얻은 여러 가중치를 평균해 하나의 모형으로 사용하는 방법이다. 일정하거나 주기적으로 바뀌는 학습률 구간의 해를 활용하는 SWA가 대표적인 구성이다.
적응형 날카로움 인지 최소화
적응형 날카로움 인지 최소화는 매개변수의 스케일을 고려해 주변 손실을 평가하는 학습 방법이다. 고정된 절대 반경으로 날카로움을 측정할 때 재매개변수화에 따라 값이 달라질 수 있는 문제를 다룬다.
날카로움 인지 최소화
날카로움 인지 최소화는 현재 매개변수의 손실뿐 아니라 주변 영역에서의 손실도 낮추려는 학습 방법이다. 매개변수에 작은 변화를 가했을 때 손실이 급격히 커지는 해를 피하도록 목적을 구성한다.
AdaHessian
AdaHessian은 손실 함수의 헤시안 대각을 근사해 갱신 크기에 곡률 정보를 반영하는 적응적 최적화 방법이다. 무작위 추정과 이동 평균 등을 이용해 큰 곡률 행렬을 직접 저장하는 부담을 줄인다.
Shampoo 옵티마이저
Shampoo 옵티마이저는 가중치 텐서의 축별 구조를 활용해 기울기에 사전조건을 적용하는 최적화 방법이다. 모든 매개변수의 거대한 결합 행렬 대신 축마다 작은 행렬을 유지한다.
Adafactor
Adafactor는 행렬 가중치의 기울기 이차 모멘트를 행과 열의 통계로 근사해 저장 메모리를 줄이는 적응적 최적화 방법이다. 매개변수별 크기 조절과 갱신 안정화 구성을 함께 사용한다.
Lion 옵티마이저
Lion 옵티마이저는 기울기와 모멘텀을 결합한 값의 부호로 매개변수의 갱신 방향을 정하는 최적화 방법이다. 이차 모멘트 배열을 유지하지 않아 옵티마이저 상태 메모리를 줄인다.
SOAP 옵티마이저
SOAP 옵티마이저는 사전조건자의 고유기저로 옮긴 공간에서 Adam 방식의 갱신을 수행하는 최적화 방법이다. 좌표 변환과 지속적인 모멘트 갱신을 결합해 학습 효율과 안정성을 개선한다.
GaLore
GaLore는 기울기를 저랭크 공간으로 투영해 옵티마이저 상태의 메모리를 줄이는 학습 방법이다. 기반 가중치를 고정하는 저랭크 적응과 달리 전체 가중치의 학습을 허용한다.
LoRA 플러스
LoRA 플러스는 저랭크 보정을 이루는 두 행렬에 서로 다른 학습률을 적용하는 미세 조정 방법이다. 같은 학습률을 사용하는 대신 두 갱신의 비율을 조정해 학습 효율을 개선한다.
ReLoRA
ReLoRA는 저랭크 갱신을 주기적으로 기반 가중치에 합치고 다시 시작해 더 높은 랭크의 누적 변화를 학습하는 방법이다. 한 번의 저랭크 보정으로 전체 학습을 제한하는 문제를 완화한다.
IA3 적응
IA3 적응은 학습한 벡터로 트랜스포머 내부 활성값을 성분별 조절하는 미세 조정 방법이다. 기반 가중치를 고정한 채 적은 수의 스케일 매개변수로 작업에 적응시킨다.
VeRA
VeRA는 여러 층에서 공유하는 고정 무작위 저랭크 행렬에 작은 스케일 벡터를 학습해 모형을 적응시키는 방법이다. 작업별로 학습하고 저장할 매개변수를 줄이는 데 초점을 둔다.
접두어 튜닝
접두어 튜닝은 언어 모형의 가중치를 고정하고 작업별 연속 벡터인 접두어를 학습하는 적응 방법이다. 후속 토큰이 이 접두어를 가상 토큰처럼 참조하도록 조건을 제공한다.
프롬프트 튜닝
프롬프트 튜닝은 고정된 언어 모형의 입력에 학습 가능한 소프트 프롬프트를 붙여 작업에 적응시키는 방법이다. 사람이 읽는 지시문을 탐색하는 것과 달리 연속 벡터를 역전파로 조절한다.
AdaLoRA
AdaLoRA는 미세 조정에 사용할 저랭크 보정의 예산을 가중치 행렬별 중요도에 따라 배분하는 방법이다. 모든 행렬에 같은 랭크를 주는 대신 학습 과정에서 필요한 갱신 성분을 선택한다.
LoRA
LoRA는 학습된 가중치를 고정하고 저랭크 행렬의 곱으로 표현한 보정만 학습하는 적응 방법이다. 작업별로 전체 모형을 새로 학습하고 저장하는 부담을 줄인다.
DoRA
DoRA는 가중치의 크기와 방향을 분리하고 방향 변화에 저랭크 보정을 적용하는 미세 조정 방법이다. 적은 수의 학습 매개변수로 기반 모형을 적응시키는 접근에 속한다.
QLoRA
QLoRA는 4비트로 양자화한 기반 언어 모형을 고정하고 저랭크 어댑터를 학습하는 미세 조정 방식이다. 기반 가중치의 저장 비용을 낮추면서 작업에 맞는 작은 추가 매개변수를 갱신한다.
Wanda 가지치기
Wanda 가지치기는 가중치의 절댓값과 대응 입력 활성값의 크기를 함께 사용해 언어 모형의 가중치를 제거하는 방법이다. 각 출력 뉴런에 연결된 가중치끼리 중요도를 비교한다.
SparseGPT
SparseGPT는 학습이 끝난 대규모 언어 모형에서 일부 가중치를 제거하는 가지치기 방법이다. 층별 출력 재구성 관점에서 남은 가중치를 조정해 별도의 전체 재학습 없이 희소성을 만든다.
QuaRot
QuaRot은 언어 모형의 내부 표현을 회전해 큰 이상값을 분산시키고 저비트 양자화를 돕는 방법이다. 적절히 대응시킨 변환으로 양자화 전의 계산은 유지하면서 가중치와 활성값, 키·값 캐시의 표현을 줄인다.
SpinQuant
SpinQuant는 언어 모형의 저비트 양자화에 유리한 회전 행렬을 학습하는 방법이다. 고정밀 계산에서 출력을 유지하는 변환들 가운데 양자화 후 정확도에 도움이 되는 회전을 찾는다.
BitNet
BitNet은 선형층을 저비트 계산 구조로 바꾸고 처음부터 그 구조에 맞춰 학습하는 트랜스포머 계열이다. 원래 제안에서는 BitLinear 층을 이용해 이진 가중치를 학습한다.
BitNet b1-58
BitNet b1.58은 저비트 언어 모형의 가중치를 -1, 0, 1의 세 값으로 표현하는 BitNet 변형이다. 이름의 1.58은 세 가지 상태를 나타내는 정보량 log₂3의 근삿값이다.
LLM int8 양자화
LLM int8 양자화는 트랜스포머의 행렬 곱에서 대부분의 계산을 8비트로 처리하고 이상값 특징 차원을 고정밀 계산으로 분리하는 방법이다. 벡터별 양자화와 혼합 정밀도 분해를 함께 사용한다.
SmoothQuant
SmoothQuant는 활성값의 큰 채널 값을 완화하는 등가 스케일 변환으로 언어 모형의 가중치와 활성값 양자화를 돕는 방법이다. 가중치와 활성값을 모두 8비트로 처리하는 구성을 지원한다.
AWQ 양자화
AWQ 양자화는 활성값 통계를 이용해 중요한 가중치 채널을 찾아 저비트 가중치 변환의 오차를 줄이는 방법이다. 학습이 끝난 언어 모형의 가중치를 압축하는 데 사용한다.
GPTQ 양자화
GPTQ 양자화는 근사적인 이차 정보를 활용해 학습이 끝난 언어 모형의 가중치를 저비트로 바꾸는 방법이다. 층 출력의 변화를 작게 유지하는 방향으로 가중치를 변환한다.
H2O 캐시 관리
H2O 캐시 관리는 언어 모형의 키·값 캐시에 최근 토큰과 주의 기여가 큰 토큰을 함께 남기는 교체 정책이다. 제한된 캐시 예산에서 과거 토큰을 선택적으로 유지한다.
StreamingLLM
StreamingLLM은 처음 일부 토큰과 최근 토큰의 키·값 캐시를 함께 유지해 긴 입력 흐름을 처리하는 언어 모형 추론 방식이다. 주의가 초기 토큰에 집중되는 주의 싱크 현상을 활용한다.
Lookahead 디코딩
Lookahead 디코딩은 별도의 초안 모형 없이 같은 언어 모형으로 여러 토큰 후보를 만들고 검증하는 병렬 생성 방식이다. 야코비 반복에서 얻은 토큰 묶음을 활용해 순차적인 생성 단계 수를 줄인다.
EAGLE 디코딩
EAGLE 디코딩은 언어 모형의 내부 특징을 예측해 토큰 초안을 만들고 목표 모형으로 검증하는 생성 가속 방식이다. 특징 예측에 다음 시점의 토큰 정보를 함께 넣어 미래 특징의 불확실성을 줄인다.
Medusa 디코딩
Medusa 디코딩은 언어 모형에 여러 예측 헤드를 붙여 후속 토큰 후보를 만들고 한 번에 검증하는 생성 가속 방식이다. 별도의 작은 초안 모형 대신 같은 기반 모형의 표현을 활용한다.
추측 디코딩
추측 디코딩은 작은 초안 모형이 제안한 여러 토큰을 목표 모형으로 함께 검사하는 생성 방식이다. 적절한 수락과 보정 절차를 사용하면 목표 모형의 표본 분포를 유지하면서 순차 실행의 부담을 줄일 수 있다.
PagedAttention
PagedAttention은 언어 모형의 키·값 캐시를 고정 크기 블록으로 관리하는 주의 계산 방식이다. 가상 메모리의 페이징 관점을 활용해 요청마다 달라지는 캐시의 낭비와 중복을 줄인다.
그룹 질의 주의
그룹 질의 주의는 여러 질의 헤드가 그룹별로 키·값 헤드를 공유하는 주의 구조다. 다중 헤드 주의와 하나의 키·값 헤드를 사용하는 다중 질의 주의 사이의 구성을 제공한다.
FlashAttention
FlashAttention은 GPU 메모리 사이의 데이터 이동을 줄여 정확한 주의 연산을 계산하는 알고리즘이다. 큰 중간 주의 행렬 전체를 저장하지 않고 입력을 작은 블록으로 나눠 처리한다.
FlashAttention-2
FlashAttention-2는 정확한 GPU 주의 연산의 작업 분배와 병렬화를 개선한 알고리즘이다. FlashAttention의 메모리 절약 원리를 유지하면서 연산 배치와 스레드 사이의 통신을 조절한다.
HGRN
HGRN은 층이 깊어질수록 망각 게이트의 하한을 높이는 계층적 게이트 순환 신경망이다. 아래층과 위층이 서로 다른 시간 범위의 정보를 다루도록 유도한다.
xLSTM
xLSTM은 LSTM의 게이트와 기억 구조를 확장한 신경망 계열이다. 지수형 게이팅과 안정화 기법, 스칼라 및 행렬 기억의 변형을 잔차 블록에 결합한다.
Griffin 신경망
Griffin은 게이트 선형 순환과 지역 주의를 결합하는 언어 시퀀스 모형이다. 순환 상태의 요약 기억과 가까운 토큰을 직접 참조하는 처리를 함께 활용한다.
선형 순환 유닛
선형 순환 유닛은 대각화한 선형 상태 갱신과 적절한 초기화·정규화를 활용하는 시퀀스 처리 블록이다. 긴 시퀀스에서 순환 신경망의 학습과 실행 특성을 개선하는 설계다.
Gated DeltaNet
Gated DeltaNet은 기억을 감쇠하는 게이트와 기존 키·값 연상을 수정하는 델타 규칙을 결합한 시퀀스 모형이다. 행렬형 상태의 전반적인 망각과 특정 키 방향의 갱신을 함께 다룬다.
델타 규칙 빠른 가중치
델타 규칙 빠른 가중치는 키로 읽은 기존 값과 새 값의 차이를 이용해 연상 기억 행렬을 갱신하는 방식이다. 새 키·값 외적을 계속 더하는 규칙과 달리 현재 기억의 예측을 수정한다.
Mamba-2
Mamba-2는 상태 공간과 주의 연산의 구조적 쌍대성을 활용한 시퀀스 모형이다. Mamba의 선택적 상태 공간을 효율적인 행렬 계산에 맞도록 재구성한다.
게이트 선형 주의
게이트 선형 주의는 선형 주의의 행렬형 기억 상태에 입력에 따른 망각 게이트를 적용하는 연산이다. GLA는 이러한 구조와 메모리 이동을 고려한 학습 계산을 결합한다.
Hyena 시퀀스 모형
Hyena는 긴 합성곱과 입력에 따른 게이팅을 교대로 결합하는 시퀀스 처리 연산이다. 조밀한 자기 주의의 이차 비용을 줄이는 대체 구조로 제안되었다.
RWKV
RWKV는 시간 혼합과 채널 혼합으로 시퀀스를 처리하는 신경망 구조다. 학습의 병렬 계산과 순환 상태를 사용하는 추론을 함께 고려해 설계한다.
Mamba 신경망
Mamba는 입력 내용에 따라 정보의 전달과 망각을 조절하는 선택적 상태 공간 시퀀스 모형이다. 주의 연산 대신 순환 상태 갱신과 효율적인 병렬 계산을 활용한다.
RetNet
RetNet은 감쇠하는 기억 상태를 활용하는 retention 연산으로 시퀀스를 처리하는 신경망이다. 같은 연산을 병렬, 순환, 청크 단위 순환 형태로 계산할 수 있게 설계한다.
S4D
S4D는 상태 행렬을 대각 형태로 제한한 S4 계열의 시퀀스 모형이다. 단순한 계산 구조뿐 아니라 대각 원소의 초기화와 매개변수화가 긴 기억의 학습에 미치는 영향을 다룬다.
선형 상태 공간 층
선형 상태 공간 층은 연속시간 선형 동역학을 시퀀스 처리의 학습 층으로 사용하는 구조다. 순환 갱신과 시간 합성곱, 연속시간 계산을 하나의 상태 공간 관점으로 연결한다.
S5 상태 공간 층
S5는 하나의 다중 입력·다중 출력 상태 공간을 사용하는 시퀀스 처리 층이다. S4의 설계를 바탕으로 초기화와 매개변수화를 구성하고 병렬 스캔을 활용한다.
S4 상태 공간 모형
S4는 구조화된 상태 공간 표현을 활용해 긴 시퀀스를 처리하는 신경망 모형이다. 선형 동역학의 기억 구조와 효율적인 계산 방식을 결합한다.
HiPPO
HiPPO는 과거 신호를 다항식 기저로 투영해 온라인으로 압축하는 기억 구조의 틀이다. 과거 시점의 중요도를 정하는 측도에 따라 근사 문제와 상태 갱신이 달라진다.
숨은 다양체 모형
숨은 다양체 모형은 낮은 차원의 잠재 변수에서 높은 차원의 상관된 입력을 생성해 신경망 학습을 분석하는 이론 모형이다. 데이터 구조가 학습 과정에 미치는 영향을 살펴본다.
Liquid Time-constant Network
Liquid Time-constant Network는 입력과 상태에 따라 유효 시간상수가 달라지는 연속시간 순환 신경망이다. 비선형 게이트로 조절되는 동역학을 수치 적분해 상태를 계산한다.
폐형식 연속시간 신경망
폐형식 연속시간 신경망은 경과 시간을 명시적으로 반영하는 계산식으로 연속시간 상태 갱신을 구성하는 모형이다. CfC는 LTC 동역학의 근사에서 출발해 반복적인 수치 적분의 부담을 줄이는 방식이다.
Neural RDE
Neural RDE는 긴 시계열의 작은 구간들을 로그 시그니처로 요약해 잠재 상태를 갱신하는 신경 미분방정식 모형이다. 경로가 상태를 구동하는 정보를 구간 단위로 다룬다.
신경 제어 미분방정식
신경 제어 미분방정식은 관측 시계열에서 만든 연속 경로의 변화로 잠재 상태를 움직이는 모형이다. 불규칙한 시점에 들어오는 관측 정보를 연속시간 처리에 반영한다.
라그랑지안 신경망
라그랑지안 신경망은 일반화 좌표와 속도에서 라그랑지안을 학습하고 오일러·라그랑주 방정식으로 운동을 계산하는 모형이다. 가속도를 직접 예측하는 대신 스칼라 함수의 미분 구조를 활용한다.
해밀토니안 신경망
해밀토니안 신경망은 스칼라 해밀토니안을 신경망으로 표현하고 그 미분에서 상태 변화율을 구하는 모형이다. 정준 위치와 운동량의 관계를 구조에 반영해 보존계의 동역학을 학습한다.
잠재 ODE
잠재 ODE는 초기 잠재 상태에서 연속시간 동역학을 전개해 관측 시계열을 생성하는 모형이다. 관측 간격이 일정하지 않은 데이터에서 원하는 시각의 잠재 상태를 계산할 수 있다.
증강 신경 상미분방정식
증강 신경 상미분방정식은 입력 상태에 추가 차원을 붙인 공간에서 연속 동역학을 학습하는 모형이다. 더 큰 상태 공간을 활용해 원래 공간에서 제약을 받는 표현 변환을 다룬다.
ANODE 수반 미분
ANODE는 신경 상미분방정식의 학습에서 수치 적분과 일관된 기울기를 메모리 효율적으로 계산하는 방법이다. 체크포인트를 저장하고 필요한 구간을 재계산하는 방식을 활용한다.
신경 상미분방정식
신경 상미분방정식은 상태의 변화율을 신경망으로 나타내고 수치 적분으로 출력을 계산하는 모형이다. 고정된 층의 목록 대신 연속적인 상태 변화의 규칙을 학습한다.
DeepONet
DeepONet은 입력 함수와 출력 평가 위치를 서로 다른 하위 신경망으로 처리하는 연산자 학습 구조다. 입력 함수에 따른 출력 함수의 변화를 학습하고 지정한 위치에서 값을 예측한다.
DeepXDE
DeepXDE는 미분방정식 문제를 신경망으로 다루는 파이썬 라이브러리다. 자동 미분으로 계산한 방정식 잔차와 초기·경계 조건 등을 학습 목적에 반영하는 과학 계산 작업을 지원한다.
AFNO
AFNO는 주파수 영역에서 토큰 정보를 혼합하는 적응형 푸리에 신경 연산자다. 채널을 블록으로 나눠 처리하고 가중치 공유와 주파수 계수의 축소를 활용해 고해상도 입력의 비용을 줄인다.
푸리에 신경 연산자
푸리에 신경 연산자는 입력 함수에서 출력 함수로의 대응을 학습하는 신경망 구조다. 주파수 영역에 매개변수를 둔 적분 연산을 활용하며 편미분방정식의 해 연산자를 근사하는 데 쓰인다.
FNet
FNet은 트랜스포머 인코더의 자기 주의 대신 푸리에 변환으로 특징을 혼합하는 신경망이다. 시퀀스와 은닉 특징의 두 축을 변환하고 실수부를 후속 순방향 층에 전달한다.
GFNet
GFNet은 특징을 주파수 영역으로 옮겨 학습된 필터를 곱한 뒤 다시 공간 영역으로 복원하는 이미지 인식 신경망이다. 푸리에 변환을 이용해 넓은 공간 관계를 처리한다.
PoolFormer
PoolFormer는 토큰 사이의 정보 혼합에 풀링을 사용하는 시각 인식 신경망이다. 토큰 혼합 연산과 정규화, 채널 MLP, 잔차 연결로 이루어진 전체 구조의 역할을 살펴보는 모형이다.
VOLO
VOLO는 국소적인 세부 특징을 만드는 Outlooker와 전역 정보를 모으는 트랜스포머를 결합한 시각 인식 신경망이다. 중심 특징에서 주변 정보의 결합 가중치를 생성하는 outlook attention을 사용한다.
CSWin Transformer
CSWin Transformer는 가로 띠와 세로 띠의 자기 주의를 병렬로 계산하는 계층적 시각 트랜스포머다. 여러 주의 헤드를 두 방향의 그룹으로 나눠 넓은 공간 관계를 처리한다.
Shuffle Transformer
Shuffle Transformer는 지역 창의 자기 주의 사이에 공간 재배열을 활용하는 시각 트랜스포머다. 서로 다른 창에 속한 특징들이 후속 처리에서 정보를 교환하도록 연결한다.
CrossViT
CrossViT는 서로 다른 패치 크기를 처리하는 두 트랜스포머 분기를 교차 주의로 연결한 이미지 분류 모형이다. 각 분기의 분류 토큰을 매개로 다른 크기의 특징 정보를 교환한다.
Focal Transformer
Focal Transformer는 가까운 특징은 세밀하게, 먼 특징은 거친 해상도로 참조하는 시각 트랜스포머다. 서로 다른 공간 범위와 해상도의 정보를 하나의 주의 처리에 활용한다.
T2T-ViT
T2T-ViT는 이웃 토큰을 반복적으로 결합해 이미지의 국소 구조를 반영하는 시각 트랜스포머다. 점진적인 토큰 생성 모듈과 깊고 좁은 특징 처리 구조를 결합한다.
Transformer in Transformer
Transformer in Transformer는 이미지 패치 내부의 관계와 패치 사이의 관계를 각각 트랜스포머로 처리하는 신경망이다. 큰 패치를 더 작은 단위로 나눠 두 수준의 특징을 결합한다.
Pyramid Vision Transformer
Pyramid Vision Transformer는 여러 공간 해상도의 특징 맵을 만드는 계층적 시각 트랜스포머다. 공간 축소 주의 연산으로 높은 해상도에서 키와 값의 길이를 줄인다.
Twins 비전 트랜스포머
Twins는 공간 주의 연산과 위치 표현의 설계를 다루는 시각 트랜스포머 계열이다. Twins-PCPVT와 Twins-SVT가 있으며, SVT는 지역 주의와 축소된 전역 주의를 번갈아 사용한다.