염기 해상도와 문맥 길이
여러 염기를 묶는 단위 대신 각 염기를 토큰으로 사용한다. 세밀한 서열 차이를 유지하면서도 멀리 떨어진 위치의 정보를 다루는 것이 목적이다.
긴 범위의 합성곱 연산
Hyena의 암시적 합성곱을 활용해 긴 시퀀스를 처리한다. 연구는 단일 염기 수준에서 최대 백만 토큰의 문맥을 다루는 구성을 제시했다.
표현 학습의 후속 평가
인간 참조 유전체에서 사전학습한 뒤 여러 유전체 벤치마크에 미세조정해 평가했다. 긴 문맥의 활용으로 문맥 내 학습도 조사하며 서열 길이와 계산 비용 및 표현 성능을 함께 다뤘다.
관련 문서
Caduceus DNA 모형 / MambaByte / ByT5 / CANINE / Charformer / MambaMixer