합성곱과 게이트의 결합
긴 범위의 합성곱으로 여러 시점의 정보를 결합하고 입력에서 얻은 게이트로 값을 조절한다. 이러한 연산들을 교대로 구성한다. 고정 필터의 합성곱만 반복하는 모형과 달리 게이트가 현재 데이터에 따라 전체 연산에 영향을 준다.
암묵적인 긴 필터
필터의 모든 위치를 별도 자유 매개변수로 나열하는 대신 함수로 표현하는 매개변수화를 사용한다. 긴 필터의 표현과 실제 합성곱 실행은 구분해야 한다. 효율적인 합성곱 구현과 게이트 계산을 함께 사용한다.
순서를 바꾸면 생기는 차이
입력 (1, 2, 3)에 인과 커널 (1, 0.5)을 적용하면 (1, 2.5, 4)다. 이후 게이트 (1, 0, 2)를 곱하면 (1, 0, 8)이다. 반대로 먼저 게이트를 적용한 (1, 0, 6)을 합성곱하면 (1, 0.5, 6)이다. 연산 순서가 중요한 독립 예제이며 실제 Hyena 블록 전체를 나타내지는 않는다.
긴 입력의 평가
합성곱 기반의 유리한 계산 규모와 실제 과제의 기억 성능은 구분해야 한다. 필터 생성과 게이팅, 실행 장치의 비용을 포함해 평가한다. 같은 문맥 길이에서도 모형 크기와 학습 조건이 다르면 정확도와 처리 속도의 비교가 달라진다.