Shuffle Transformer

창 사이의 연결

겹치지 않는 지역 창 안에서만 주의를 계산하면 다른 창의 특징은 직접 상호작용하지 못한다. 공간 셔플은 특징의 공간 배치를 재구성해 이후 창 처리에서 서로 다른 원래 창의 정보가 만날 수 있게 한다.

재배열의 개념 예제

처음 두 그룹이 (A, B, C, D)와 (E, F, G, H)라고 하자. 설명을 위해 (A, C, E, G)와 (B, D, F, H)로 재배열하면 새 그룹마다 두 원래 그룹의 원소가 섞인다. 이는 연결 원리만 보여 주는 독립 예제이며 실제 이차원 셔플 인덱스를 지정한 것은 아니다.

이웃 관계의 보완

공간 재배열만으로 가까운 원래 이웃 사이의 관계를 충분히 반영한다고 볼 수는 없다. Shuffle Transformer는 깊이별 합성곱도 활용해 이웃 창의 연결을 보완한다. 공간 셔플은 채널 순서를 바꾸는 채널 셔플과 구분해야 한다.

실행 비용의 확인

원소 순서만 바꾸는 처리도 실제 구현에서는 메모리 접근과 배열 복사 비용을 만들 수 있다. 이론적 주의 연산량만으로 전체 속도를 단정하지 않고 사용 장치의 실행 시간과 메모리 사용을 확인한다. 데이터 증강으로 입력을 무작위로 섞는 방식과도 목적이 다르다.