위키득계정 ↗
기술

Next-ViT

Next-ViT기술
연구 공개
2022년
합성곱 블록
Next Convolution Block
트랜스포머 블록
Next Transformer Block
평가 환경
TensorRT와 CoreML
Next-ViT는 실제 추론 환경의 지연시간을 고려해 합성곱과 트랜스포머 블록을 결합한 시각 신경망이다. 지역 정보와 전역 정보를 담당하는 블록을 혼합해 정확도와 실행 비용의 절충을 설계한다.

배치 환경에서의 효율

복잡한 어텐션 설계는 연산 수가 작더라도 실제 추론 환경에서 효율적이지 않을 수 있다. Next-ViT는 산업용 실행 환경에서 지연시간과 인식 성능을 함께 고려하는 문제를 다룬다.

지역과 전역 블록의 혼합

NCB는 지역 정보를 처리하고 NTB는 전역 정보를 다루도록 설계한다. NHS라는 혼합 전략으로 두 블록을 쌓아 효율적인 정보 처리를 구성한다.

검출과 분할의 평가

연구는 TensorRT와 CoreML에서 COCO 검출과 ADE20K 의미 분할 등을 비교했다. 서로 다른 실행 환경의 지연시간을 기준으로 인식 성능과의 절충을 평가한 것이다.

관련 문서

EdgeViTs / EdgeNeXt / SwiftFormer / LeViT / EfficientFormer / CSWin Transformer