문맥에서 배우는 DNA 표현
초기 DNABERT는 DNA 서열의 앞뒤 문맥으로 전이 가능한 표현을 학습했다. 사전학습 모형을 소량의 과제별 라벨 자료에 미세조정해 여러 유전체 서열 예측을 수행하는 구성을 제안했다.
고정 길이 묶음에서 BPE로
DNABERT-2는 고정 길이 k-mer 토큰화의 계산 및 표본 효율 문제를 분석했다. 자주 함께 나오는 서열 구간을 반복 병합하는 BPE로 대체해 겹치지 않는 토큰화의 효율을 활용한다.
다종 유전체의 공통 평가
후속 연구는 입력 길이와 시간 및 메모리 비용을 다루는 여러 전략을 결합했다. 함께 제안한 GUE는 아홉 과제의 36개 자료를 포함하는 다종 유전체 분류 평가 모음으로, 서로 다른 모형을 같은 체계에서 비교하도록 한다.
관련 문서
Caduceus DNA 모형 / HyenaDNA / MambaByte / ByT5 / CANINE / Charformer