여러 입력을 함께 넣을 때의 문제
이미지와 깊이 또는 점군처럼 다른 입력을 결합하면 서로 보완적인 정보를 얻을 수 있다. 그러나 입력을 함께 넣는 것만으로는 각 모달리티 안의 어텐션이 약해져 성능이 저하될 수도 있다.
정보가 적은 토큰의 교체
TokenFusion은 정보량이 낮은 토큰을 동적으로 찾아 다른 모달리티에서 투영하고 집계한 특징으로 대체한다. 단순히 토큰 수를 줄이는 효율화와 달리 다른 입력의 정보를 넣는 결합 방식이다.
위치 관계와 시각 과제
잔차 위치 정렬로 융합 뒤에도 모달리티 사이 정렬 관계를 활용한다. 연구는 다중 모달리티 이미지 변환과 RGB 깊이 의미 분할 및 이미지와 점군을 이용한 3차원 검출에서 평가했다.
관련 문서
TokenLearner / EViT 토큰 재구성 / ToMe 토큰 병합 / DynamicViT / PatchMerger / 비전 트랜스포머의 Token Pooling