서열 방향과 먼 문맥
유전체 서열을 모델링할 때 멀리 떨어진 위치의 상호작용과 앞뒤 영역의 영향이 중요하다. Caduceus는 이러한 장거리 관계와 DNA의 역상보 성질을 구조에 반영한다.
양방향 블록과 등변성
BiMamba는 Mamba 블록을 양방향 처리로 확장한다. MambaDNA는 여기에 역상보 등변성을 더해 서열 변환에 대응하는 표현 관계를 유지하도록 구성한다.
사전학습과 후속 평가
이 블록을 바탕으로 사전학습과 미세조정 전략을 제안했다. 연구는 유전체 후속 벤치마크와 장거리 변이 효과 예측에서 양방향성 및 등변성을 활용한 모형을 평가했다.
관련 문서
HyenaDNA / MambaByte / MambaMixer / Vision Mamba / VMamba / PlainMamba