층에 따라 달라지는 관심
같은 영상이라도 모델의 각 층이 주목하는 영역은 달라질 수 있다. Blink는 이 차이를 활용해 모든 위치에 동일하게 계산을 쓰기보다 중요한 영역을 선택적으로 자세히 처리한다.
어텐션 기반 중요도 추정
각 층의 어텐션 지도에서 시각 토큰의 중요도를 추정한다. 현재 집중하는 영역을 탐색한 뒤 중요한 토큰을 선택해 세부 표현을 확장할 대상으로 삼는다.
토큰 확장과 제거
TokenSR 모듈로 중요한 토큰을 확장하고 다음 층에서 관심이 줄어든 확장 토큰은 제거한다. 토큰 수와 세부 처리 범위를 계속 조절하는 방식으로 구현한다.
이름이 같은 평가와의 구분
이 방법은 2024년의 BLINK 시각 지각 벤치마크와 다른 연구다. 동적 토큰 처리는 하나의 순전파 안에서 이루어지며, 실제 효율은 확장되는 토큰과 계산 구성에 영향을 받는다.
관련 문서
BLINK 시각 지각 평가 / 어텐션 / 시각 토큰 / 비전 트랜스포머 / 영상 언어 모델 / 토큰 가지치기