문서 둘러보기
TicToc 동시성 제어
TicToc은 자료에 기록한 읽기와 쓰기의 시간 정보를 이용해 커밋 시각을 계산하는 낙관적 동시성 제어 방식이다. 트랜잭션마다 중앙에서 시각을 미리 할당하는 부담을 줄이도록 설계됐다.
Silo 트랜잭션 처리
Silo는 여러 코어에서 메모리 내 트랜잭션을 처리하도록 설계한 데이터베이스다. 낙관적 동시성 제어와 주기적 실행 구간을 결합해 공유 상태의 경합을 줄이면서 직렬 실행과 동등한 결과 및 복구를 지원한다.
Bw 트리
Bw 트리는 여러 코어에서 인덱스 페이지를 래치 없이 변경하도록 설계된 B 트리 계열 구조다. 기존 페이지를 직접 고치기보다 변경 내용을 델타 기록으로 연결하고 원자적 연산으로 새 상태를 설치한다.
Masstree
Masstree는 여러 CPU 코어가 공유 메모리에서 사용하는 키값 데이터베이스다. 가변 길이 키를 일정 길이의 부분으로 나누고 B 플러스 트리를 트라이처럼 연결해 탐색한다.
LeanStore
LeanStore는 메모리를 넘는 자료를 관리하면서 메모리 내 접근의 부담을 줄이도록 설계한 저장 관리자다. 포인터 변환과 페이지 교체 및 동기화 비용을 함께 줄이는 데 초점을 둔다.
데이터베이스 크래킹
데이터베이스 크래킹은 질의를 처리하면서 자료의 물리적 배치를 조금씩 정리하는 적응형 인덱싱 방식이다. 실제 조회 조건을 이용해 저장 영역을 나누고 이후 탐색에 활용한다.
적응형 기수 트리
적응형 기수 트리인 ART는 메모리 내 데이터베이스 인덱스를 위해 고안된 트라이 구조다. 내부 노드의 표현을 자료에 맞춰 바꾸어 공간을 줄이면서 정렬 순서를 유지한다.
Morsel 기반 질의 병렬 처리
Morsel 기반 질의 병렬 처리는 입력 자료를 작은 조각으로 나누고 실행 중 작업 스레드에 배정하는 방식이다. 작업량의 차이에 대응하면서 NUMA 환경의 메모리 지역성을 고려한다.
MonetDB X100
MonetDB X100은 분석 질의에서 CPU를 효율적으로 쓰기 위해 벡터화된 실행을 제안한 질의 엔진이다. 열 전체나 단일 행 대신 캐시에 담기는 작은 값 묶음을 연산자 사이에 전달한다.
DuckDB
DuckDB는 응용 프로그램의 프로세스 안에서 분석용 SQL을 실행하는 데이터베이스다. 별도의 데이터베이스 서버와 통신하는 대신 라이브러리로 결합하며, 여러 값을 묶어 처리하는 벡터화 실행을 사용한다.
HyPer의 질의 컴파일
HyPer의 질의 컴파일은 데이터베이스 실행 계획을 LLVM으로 기계 코드에 변환하는 처리 방식이다. 연산자 호출과 자료 이동의 비용을 줄이고 코드 및 자료의 지역성을 높이는 데 초점을 둔다.
Umbra 데이터베이스
Umbra는 메모리 버퍼와 SSD 저장을 결합한 데이터베이스 시스템이다. 가변 크기 페이지를 사용하는 버퍼 관리로 캐시된 작업 집합을 빠르게 처리하면서 메모리를 넘는 자료도 다루도록 설계됐다.
RNA-FM 서열 기반 모형
RNA-FM은 라벨이 없는 비암호화 RNA 서열로 범용 표현을 학습하는 기반 모형이다. 자기지도 사전학습에서 얻은 특징을 RNA의 구조와 기능을 예측하는 후속 과제에 활용한다.
네이버 뉴스 클린봇과 댓글 신고, 차단
뉴스 댓글의 자동 탐지와 운영정책상 조치, 신고 접수와 개인 차단의 차이를 설명한다.
Evo 유전체 모형
Evo는 긴 DNA 문맥에서 분자 수준부터 유전체 수준까지의 표현을 학습하는 기반 모형이다. 단일 염기 해상도를 유지하면서 DNA와 RNA 및 단백질에 걸친 예측을 연구한다.
DNABERT 계열
DNABERT 계열은 DNA의 앞뒤 문맥에서 표현을 사전학습하고 후속 유전체 과제에 미세조정하는 언어 모형이다. 후속 DNABERT-2는 BPE 토큰화와 다종 유전체 평가를 도입해 계산 효율과 비교 체계를 개선했다.
Procreate 타임랩스 일시정지와 삭제, 백업
타임랩스 녹화 중단과 기록 삭제의 차이, 삭제 후 확인할 별도 사본과 백업 방법을 설명한다.
Caduceus DNA 모형
Caduceus는 양방향 문맥과 DNA 역상보 변환의 관계를 반영한 장거리 서열 모형이다. Mamba 계열 블록을 확장해 상류와 하류 영역의 정보 및 역상보 등변성을 함께 다룬다.
HyenaDNA
HyenaDNA는 단일 염기 단위로 긴 유전체 서열을 처리하는 기반 모형이다. 암시적 합성곱에 기반한 Hyena 연산을 사용해 염기 해상도를 유지하면서 긴 문맥의 표현을 학습한다.
VideoMamba 연구
VideoMamba는 영상 이해에 선택적 상태 공간 모형을 적용한 서로 다른 연구들의 이름이다. 2024년 공개된 두 연구는 장기 영상 처리와 시공간 관계의 모델링을 각각 다루며 저자와 설계가 다르다.
Audio Mamba 오디오 태깅
Audio Mamba 오디오 태깅 연구는 계층적 상태 공간 모형으로 스펙트로그램의 긴 관계를 처리하는 방법이다. 시간과 주파수의 패치 구성 및 다단계 특징 처리를 결합해 소리 범주를 예측한다.
Audio Mamba 자기지도 표현
Audio Mamba 자기지도 표현 연구는 스펙트로그램의 가려진 패치를 복원하며 범용 오디오 특징을 학습하는 방법이다. 선택적 상태 공간 인코더와 복원망을 사용해 별도의 과제 라벨 없이 사전학습한다.
Mamba3D
Mamba3D는 지역 기하 특징과 양방향 상태 공간 처리를 결합한 점군 분석 모형이다. 지역 정규화 풀링으로 가까운 형태를 추출하고 토큰 및 특징 채널의 방향을 달리해 전역 정보를 처리한다.
PointMamba
PointMamba는 공간 채움 곡선으로 점군을 토큰화하고 상태 공간 인코더로 분석하는 모형이다. 비계층적 Mamba 구조로 전역 관계를 처리하며 점군 분석의 계산 및 메모리 비용을 낮추려 한다.
MambaMixer
MambaMixer는 토큰과 채널 양쪽에서 입력 의존적인 선택을 수행하는 상태 공간 신경망이다. 선택적 혼합기들을 가중 평균으로 연결해 이른 층의 특징을 뒤쪽에서도 직접 활용하도록 구성한다.
EfficientVMamba
EfficientVMamba는 간격을 둔 선택적 스캔과 합성곱 분기로 경량 시각 모형을 만드는 방법이다. 전역 관계를 처리하는 상태 공간 연산과 지역 특징을 다루는 합성곱을 결합한다.
VSSD 시각 상태 공간 쌍대성
VSSD는 상태 공간 쌍대성을 비인과적인 시각 처리에 맞게 구성한 모형이다. 토큰과 은닉 상태의 상대 가중치를 활용하고 여러 순회의 결과를 결합해 순서 의존성을 완화한다.
LocalMamba
LocalMamba는 지역 창의 순회와 층별 순회 방식 탐색으로 시각 상태 공간 모형을 구성하는 방법이다. 이미지를 시퀀스로 펼칠 때 가까운 위치의 관계가 멀어지는 문제를 줄이려 한다.
PlainMamba
PlainMamba는 모든 층의 폭을 유지하는 비계층적 시각 상태 공간 모형이다. 연속적인 이차원 순회와 방향을 반영한 갱신으로 이미지의 공간 관계를 학습한다.
iPhone 앱 개인정보 보호 리포트의 카메라 접근 기록
최근 접근 시각 목록과 연속 촬영 시간을 구분하고, 카메라 사용 표시 및 앱 권한을 함께 확인하는 방법을 설명한다.
이전 휴대전화 없이 Google 본인 인증하기
기기를 교체하거나 처분한 뒤 Google 인증 메시지를 받을 수 없을 때, 대체 인증과 민감한 작업 제한 및 계정 복구를 구분한다.
MambaOut
MambaOut은 상태 공간 토큰 혼합기를 제외한 Mamba 계열 블록으로 시각 모형을 구성한 비교 연구다. 분류와 검출 및 분할에서 상태 공간 연산이 어떤 역할을 하는지 과제의 특성과 연결해 조사한다.
Vision Mamba
Vision Mamba는 양방향 상태 공간 블록으로 시각 표현을 학습하는 백본이다. 이미지 시퀀스에 위치 임베딩을 더하고 양방향 Mamba로 전역 문맥과 위치 정보를 처리한다.
MambaVision
MambaVision은 Mamba 계열 연산과 자기 어텐션을 함께 사용하는 계층적 시각 백본이다. 시각 특징에 맞게 상태 공간 구성을 바꾸고 뒤쪽 층의 어텐션으로 먼 공간 관계의 처리를 보완한다.
VMamba
VMamba는 선택적 상태 공간 연산을 이차원 시각 자료에 적용하는 백본이다. 네 방향의 순회로 문맥을 모으는 이차원 선택적 스캔을 사용해 일차원 순차 처리와 이미지 구조를 연결한다.
EfficientViM
EfficientViM은 압축된 은닉 상태 안에서 채널을 혼합하는 시각 상태 공간 신경망이다. 입력 시퀀스에 대한 선형 투영 비용을 줄이고 여러 단계의 은닉 상태를 융합해 전역 정보를 처리한다.
FasterViT
FasterViT는 합성곱의 지역 표현과 계층적 어텐션의 전역 처리를 결합한 시각 신경망이다. 각 창의 전달 토큰을 이용해 창 사이에서 정보를 교환하면서 이미지 처리량을 높이려 한다.
EfficientMod
EfficientMod는 합성곱 문맥 처리와 특징 투영을 효율적인 변조 블록으로 결합한 시각 신경망 설계다. 원소별 곱과 다층 퍼셉트론으로 특징을 융합하며 자기 어텐션과 혼합한 구조도 다룬다.
Next-ViT
Next-ViT는 실제 추론 환경의 지연시간을 고려해 합성곱과 트랜스포머 블록을 결합한 시각 신경망이다. 지역 정보와 전역 정보를 담당하는 블록을 혼합해 정확도와 실행 비용의 절충을 설계한다.
EdgeViTs
EdgeViTs는 지역과 전역 정보를 합성곱 및 자기 어텐션으로 교환하는 경량 시각 트랜스포머 계열이다. 모바일 장치의 실제 지연시간과 에너지 비용을 인식 성능과 함께 평가하는 데 초점을 둔다.
LeViT
LeViT는 빠른 이미지 분류를 위해 합성곱 설계 원리와 트랜스포머를 결합한 신경망이다. 점차 해상도가 줄어드는 특징 맵과 위치 정보를 반영하는 어텐션 편향을 사용한다.
EdgeNeXt
EdgeNeXt는 채널별 합성곱과 채널 방향 자기 어텐션을 결합한 모바일 시각 신경망이다. 입력을 채널 그룹으로 나누어 여러 공간 규모의 특징을 효율적으로 부호화한다.
SwiftFormer
SwiftFormer는 효율적인 가산 어텐션으로 전역 문맥을 처리하는 모바일 시각 신경망이다. 토큰 쌍의 큰 행렬 곱 대신 원소별 곱과 선형 연산을 활용해 실행 비용을 낮추려 한다.
InternImage
InternImage는 변형 가능한 합성곱을 핵심 연산으로 사용하는 대규모 시각 기반 모형이다. 넓은 유효 수용 영역과 입력 및 과제에 맞춘 공간 집계를 결합해 모형과 학습 자료의 확장을 다룬다.
SLaK
SLaK는 희소성과 분해된 큰 커널을 이용하는 합성곱 시각 신경망이다. 커널을 단순히 크게 만드는 데서 생기는 성능 포화 문제를 다루며 매우 넓은 공간 범위의 합성곱을 연구한다.
Conv2Former
Conv2Former는 자기 어텐션을 합성곱 변조로 바꾼 계층적 시각 신경망이다. 채널별 합성곱에서 얻은 특징으로 값 표현을 원소별 조정해 공간 정보를 처리한다.
InceptionNeXt
InceptionNeXt는 큰 커널의 채널별 합성곱을 네 병렬 분기로 나눈 시각 신경망이다. 작은 정사각형 커널과 두 방향의 띠 모양 커널 및 항등 경로를 결합해 처리량과 인식 성능을 함께 고려한다.
HorNet
HorNet은 재귀 게이트 합성곱으로 입력에 적응하는 장거리 고차 공간 상호작용을 만드는 시각 신경망이다. 자기 어텐션에서 다루는 상호작용의 성질을 합성곱 기반 구성으로 구현하려 한다.
Visual Attention Network
Visual Attention Network는 큰 커널 어텐션 LKA로 먼 공간 관계와 입력 적응성을 다루는 시각 신경망이다. 큰 합성곱을 여러 연산으로 분해해 특징별 중요도에 따라 입력을 조정한다.
DaViT
DaViT는 공간 토큰과 채널 토큰의 자기 어텐션을 결합한 시각 트랜스포머다. 공간 위치 사이의 지역 표현과 채널 사이의 전역 정보를 상보적으로 처리하도록 구성한다.
FocalNet
FocalNet은 시각 토큰 사이의 상호작용을 자기 어텐션 대신 포컬 변조로 처리하는 신경망이다. 여러 범위의 문맥을 합성곱으로 모으고 내용에 따라 선택해 각 토큰의 표현에 반영한다.
MaxViT
MaxViT는 블록 안의 지역 어텐션과 넓게 분산된 전역 어텐션을 합성곱과 결합한 계층적 시각 신경망이다. 다중 축 어텐션으로 가까운 관계와 먼 공간의 관계를 함께 다루도록 구성한다.
RegionViT
RegionViT는 영역 토큰과 지역 토큰을 연결해 전역 정보를 지역 처리에 전달하는 비전 트랜스포머다. 서로 다른 패치 크기로 토큰을 만들고 영역 간 어텐션 뒤에 영역 내부 어텐션을 수행한다.
TokenFusion
TokenFusion은 정보가 적은 토큰을 다른 모달리티의 특징으로 바꾸어 시각 정보를 결합하는 방법이다. 원래 단일 모달리티 트랜스포머 구조를 대부분 유지하면서 여러 종류의 입력 사이 관계를 학습한다.
PatchMerger
PatchMerger는 두 트랜스포머 블록 사이에서 패치 토큰을 학습된 소수 표현으로 합치는 모듈이다. 입력 토큰 수와 독립적으로 출력 수를 정해 뒤쪽 블록의 계산을 줄이도록 한다.
비전 트랜스포머의 Token Pooling
비전 트랜스포머의 Token Pooling은 토큰 집합을 적은 대표 표현으로 근사하는 다운샘플링 방법이다. 줄어든 토큰이 원래 표현을 얼마나 잘 재구성하는지 고려해 군집화로 대표 토큰을 구한다.
A-ViT 적응적 토큰 종료
A-ViT는 공간 토큰의 처리를 적응적으로 종료해 비전 트랜스포머의 계산 비용을 조절하는 방법이다. 적응적 계산 시간의 종료 개념을 토큰에 적용하고 원래 모형의 매개변수로 종료를 학습한다.
ATS 적응적 토큰 샘플링
ATS는 이미지마다 중요한 토큰을 점수화하고 적응적으로 표본 추출하는 비전 트랜스포머 모듈이다. 별도 학습 매개변수 없이 기존 모형에 넣어 입력별로 처리 토큰 수가 달라지도록 한다.
TokenLearner
TokenLearner는 이미지와 영상에서 중요한 정보를 소수의 적응적 토큰으로 학습하는 시각 표현 방법이다. 고정된 패치들을 모두 처리하는 대신 학습한 토큰 사이의 어텐션으로 공간과 시간 관계를 다룬다.
ToMe 토큰 병합
ToMe는 트랜스포머에서 비슷한 토큰을 점차 합쳐 처리할 토큰 수를 줄이는 방법이다. 별도 학습 없이 기존 비전 트랜스포머에 적용할 수 있으며 학습 과정에 함께 넣는 구성도 다룬다.
DynamicViT
DynamicViT는 입력 이미지에 따라 중복 토큰을 여러 층에서 점차 제거하는 비전 트랜스포머 효율화 방법이다. 가벼운 예측 모듈로 현재 특징의 토큰 중요도를 추정해 처리할 토큰을 선택한다.
EViT 토큰 재구성
EViT는 비전 트랜스포머에서 중요한 이미지 토큰은 유지하고 나머지는 융합해 계산을 줄이는 방법이다. 분류 토큰의 어텐션으로 중요도를 판단해 자기 어텐션과 순방향 신경망 사이에서 토큰을 재구성한다.
LTP 토큰 가지치기
LTP는 층마다 학습한 임계값으로 중요도가 낮은 토큰을 제거하는 트랜스포머 효율화 방법이다. 남길 토큰 수를 고정하기보다 입력에 따라 처리할 시퀀스 길이가 달라지도록 한다.
TR-BERT
TR-BERT는 토큰마다 거치는 층 수를 조절해 언어 모형의 추론 비용을 줄이는 방법이다. 토큰 축소를 여러 단계의 선택 문제로 나타내고 강화학습으로 선택 전략을 학습한다.
PoWER-BERT와 길이 적응 트랜스포머
PoWER-BERT는 중간 단어 벡터의 중복을 줄여 추론을 빠르게 하는 방법이다. 길이 적응 트랜스포머는 이를 확장해 한 번 학습한 모형에서 계산 예산에 맞는 층별 시퀀스 길이를 탐색한다.
CascadeBERT
CascadeBERT는 크기가 다른 완전한 언어 모형을 단계적으로 선택해 추론 비용을 조절하는 방법이다. 한 모형의 얕은 중간 층에서 끝내는 대신 입력에 적절한 크기의 모형을 선택한다.
ELUE와 ElasticBERT
ELUE는 언어 모형의 성능과 효율을 함께 비교하는 평가 체계이며 ElasticBERT는 이에 함께 제안된 기준 모형이다. 여러 층에서 출력을 얻는 정적 및 동적 실행 방식으로 정확도와 비용의 절충을 평가한다.
RomeBERT
RomeBERT는 여러 조기 출구를 가진 BERT의 출구별 성능 차이를 줄이기 위한 학습 방법이다. 경사 정규화 자기 증류와 공동 학습으로 이른 출구와 늦은 출구의 불균형을 다룬다.
예측 안정성 기반 조기 종료
예측 안정성 기반 조기 종료는 여러 층의 예측이 정해진 횟수 동안 바뀌지 않으면 추론을 마치는 언어 모형 실행 방법이다. 한 출구의 확신도만 보는 대신 연속된 중간 예측의 일치를 이용한다.
DeeBERT
DeeBERT는 BERT의 중간 층에 분류 출구를 추가해 입력별로 추론을 일찍 마치는 방법이다. 출구의 예측이 충분히 확신할 만하면 뒤의 층을 실행하지 않고 결과를 반환한다.
FastBERT
FastBERT는 자기 증류로 중간 분류기를 학습하고 입력별 불확실성에 따라 추론 깊이를 정하는 BERT 계열 방법이다. 종료 임계값을 조절해 계산 비용과 성능 사이의 절충을 선택한다.
LayerDrop
LayerDrop은 층 단위의 구조적 드롭아웃으로 트랜스포머를 학습하는 방법이다. 학습 중 정규화 효과를 얻고 추론 때에는 큰 모형에서 더 얕은 부분망을 선택해 사용하도록 한다.
다중 과제 유연 깊이 번역 모형
다중 과제 유연 깊이 번역 모형은 하나의 기계번역 모형을 여러 인코더 및 디코더 깊이에서 실행하도록 훈련하는 방법이다. 지원할 깊이 조합을 정하고 각 조합을 하나의 학습 과제로 다룬다.
BERT-of-Theseus
BERT-of-Theseus는 원래 BERT의 모듈을 작은 대체 모듈로 점차 바꾸며 학습하는 압축 방법이다. 학습 중 교체 확률을 높여 대체 모듈이 원래 모듈의 동작을 익히도록 한다.
BERT의 Patient Knowledge Distillation
BERT의 Patient Knowledge Distillation은 교사의 여러 중간 층에서 작은 학생 모형으로 지식을 전달하는 증류 방법이다. 마지막 출력만 이용하는 대신 여러 층의 정보를 학습 대상으로 삼는다.
MiniLM과 MiniLMv2
MiniLM은 큰 트랜스포머의 자기 어텐션 지식을 작은 학생 모형에 전달하는 증류 방법이다. MiniLMv2는 질의와 키 및 값 사이의 관계를 증류하도록 일반화하고 교사와 학생의 헤드 수 제약을 완화했다.
DistilBERT
DistilBERT는 사전학습 단계의 지식 증류로 작은 범용 언어 표현 모형을 만드는 방법이다. 언어 모형과 증류 및 코사인 거리 손실을 결합하고 학습된 모형을 여러 과제에 미세조정한다.
TinyBERT
TinyBERT는 큰 BERT 교사의 지식을 작은 학생 모형에 옮기는 트랜스포머 증류 방법이다. 사전학습과 과제별 학습의 두 단계에서 증류해 일반적인 언어 지식과 과제에 맞는 지식을 전달한다.
ConvBERT
ConvBERT는 일부 자기 어텐션 헤드를 구간 기반 동적 합성곱으로 바꾼 언어 모형이다. 지역 의존성을 담당하는 합성곱과 나머지 자기 어텐션을 혼합해 가까운 문맥과 전역 문맥을 함께 처리한다.
MobileBERT
MobileBERT는 병목 구조와 지식 전달을 활용한 작은 BERT 계열 언어 모형이다. 특정 후속 과제에 한정하지 않고 사전학습한 뒤 미세조정으로 다양한 자연어 처리 과제에 적용하도록 설계됐다.
Funnel-Transformer
Funnel-Transformer는 은닉 상태의 시퀀스 길이를 점차 줄여 언어 처리 비용을 낮추는 구조다. 길이 축소로 절약한 계산을 더 깊거나 넓은 모형에 배분하고 필요한 경우 토큰별 표현을 복원한다.
SqueezeBERT
SqueezeBERT는 자기 어텐션 층의 여러 연산에 그룹 합성곱을 활용하는 경량 언어 모형이다. 컴퓨터 비전의 효율적인 신경망 설계를 자연어 처리에 적용해 모바일 실행 비용을 줄이려 한다.
Lite Transformer
Lite Transformer는 지역 문맥과 먼 거리 관계의 처리를 나누는 모바일 자연어 처리용 신경망이다. 합성곱과 어텐션이 서로 다른 범위의 정보를 맡도록 하는 장단거리 어텐션을 사용한다.
Mixture-of-Supernets
Mixture-of-Supernets는 구조 정보를 이용한 전문가 혼합으로 공유모형의 표현력을 높이는 구조 탐색 방법이다. 후보 부분망에 맞는 가중치를 간접 공유하도록 해 탐색 후 재학습 부담을 줄이려 한다.
DynaBERT
DynaBERT는 폭과 깊이를 선택해 크기와 지연시간을 조절하는 동적 BERT 모형이다. 전체 모형의 지식을 작은 부분망에 증류하고 중요한 헤드와 뉴런이 여러 부분망에서 공유되도록 구성한다.
NAS-BERT
NAS-BERT는 특정 후속 과제에 의존하지 않고 여러 크기의 압축 BERT 모형을 찾는 구조 탐색 방법이다. 자기지도 사전학습으로 공유모형을 훈련해 메모리와 지연시간 요구에 맞는 후보를 만든다.
AutoTinyBERT
AutoTinyBERT는 작은 사전학습 언어 모형의 구조 매개변수를 원샷 탐색으로 고르는 방법이다. 고정된 BERT 계열 설계 비율에만 의존하지 않고 여러 지연시간 제약에 맞는 구조를 찾는다.
HAT 하드웨어 인지 트랜스포머
HAT는 목표 장치의 지연시간 제약을 반영해 자연어 처리용 트랜스포머 구조를 찾는 방법이다. 후보들이 가중치를 공유하도록 학습하고 진화 탐색으로 장치에 맞는 부분 모형을 선택한다.
UniNet 혼합 구조 탐색
UniNet은 합성곱과 트랜스포머 및 다층 퍼셉트론을 함께 조합하는 시각 신경망 구조 탐색 방법이다. 연산들을 공통 설정 형식으로 나타내고 문맥을 고려하는 다운샘플링과 함께 탐색한다.
ViTAS 구조 탐색
ViTAS는 비전 트랜스포머 탐색에서 가중치 공유의 채널 불균형과 학습 불안정을 다루는 방법이다. 순환 가중치 공유로 각 채널이 여러 후보 구조에 더 고르게 기여하도록 구성한다.
AutoFormer
AutoFormer는 비전 트랜스포머의 깊이와 임베딩 차원 및 헤드 수를 탐색하는 원샷 구조 탐색 방법이다. 여러 후보가 가중치를 공유하는 모형을 학습하고 그 안에서 구조를 선택한다.
BossNAS
BossNAS는 합성곱과 트랜스포머가 섞인 구조를 블록별 자기지도 학습으로 탐색하는 방법이다. 넓은 가중치 공유 공간과 편향된 감독 때문에 후보 평가가 부정확해지는 문제를 다룬다.
NAS 벤치마크의 연산 중요도 분석
NAS 벤치마크의 연산 중요도 분석은 제한된 연산 후보와 탐색 공간 구성이 구조 성능 비교에 미치는 영향을 조사한 연구다. 세 벤치마크에서 연산별 영향과 성능 분포를 분석했다.
TransNAS-Bench-101
TransNAS-Bench-101은 여러 시각 과제 사이에서 신경망 구조 탐색 지식을 옮기는 방법을 평가하는 벤치마크다. 분류 외에 회귀와 픽셀 단위 예측 및 자기지도 과제를 포함해 과제 간 전이를 비교한다.
HW-NAS-Bench
HW-NAS-Bench는 신경망 구조의 하드웨어 성능을 조회해 장치에 맞는 구조 탐색을 연구하는 벤치마크다. 정확도뿐 아니라 실제 배치 장치에서 발생하는 비용을 함께 비교하도록 구성했다.
NAS-Bench-NLP
NAS-Bench-NLP는 자연어 처리의 언어 모형 과제로 신경망 구조 탐색을 비교하는 벤치마크다. 순환 신경망 탐색 공간과 미리 학습한 구조들의 결과를 제공해 반복 실험의 비용을 줄인다.
NAS-Bench-Suite
NAS-Bench-Suite는 서로 다른 신경망 구조 탐색 벤치마크를 공통 인터페이스로 다루는 평가 모음이다. 소수의 탐색 공간에서 얻은 결론이 다른 자료와 과제에서도 유지되는지 비교하도록 구성했다.
BANANAS
BANANAS는 신경망 구조의 성능을 예측하는 모형과 베이지안 최적화를 결합한 구조 탐색 방법이다. 구조를 표현하는 방식부터 다음 후보를 고르는 절차까지 나누어 분석하고 경로 기반 부호화를 제안했다.
대리모형 NAS 벤치마크
대리모형 NAS 벤치마크는 일부 신경망 구조의 학습 결과로 예측기를 만들고 이를 이용해 탐색 알고리즘을 평가하는 방식이다. 모든 구조를 학습해 표로 저장하기 어려운 큰 탐색 공간을 다룬다.
KNAS
KNAS는 무작위 초기 신경망의 경사를 이용해 구조를 평가하는 커널 기반 탐색 방법이다. 후보를 학습한 뒤 시험하는 비용을 줄이기 위해 경사 커널을 성능의 대리값으로 사용한다.