어텐션과 디코더의 비용
연구는 시청각 분할 모델의 어텐션 지도를 분석하고 제한된 프레임에서의 과도한 가중치 집중 및 초기 단계의 좁은 집중 패턴에 따른 디코더 비효율을 다룬다. 높은 분할 품질과 계산 부담을 함께 살피는 문제다.
쿼리로 교차 어텐션 조정
효율적인 프롬프트 쿼리 생성기를 사용해 교차 어텐션의 동작을 보완한다. 입력 소리에 대응하는 특징을 찾는 과정에서 쿼리의 구성이 중요하다는 접근이며 모든 시각 위치를 같은 방식으로 처리하는 것과 구분된다.
국소 특징과 ELF 디코더
ELF 디코더는 국소 특징에 적합한 합성곱을 활용해 계산 부담을 줄이려 한다. S4, MS3, AVSS 등의 조건에서 분할 성능과 속도 사이 균형을 평가한다. 실제 처리 속도는 모델뿐 아니라 하드웨어와 입력 조건에도 의존한다.
연산 선택의 예
가까운 경계 정보를 처리하는 연산과 멀리 떨어진 영역의 관계를 연결하는 연산은 요구가 다를 수 있다. 모든 단계를 같은 비용의 전역 연산으로 구성할 필요가 있는지 살피는 것이 효율 설계의 한 관점이다. 정확도와 비용은 함께 확인해야 한다.
관련 문서
AVSegFormer / AVSBench / Stepping Stones 시청각 학습 / LAVISH / CMSF 시청각 분할 / 자기 지도 학습