의미 분할의 세 출력
시청각 의미 분할은 영상에서 소리 내는 물체를 찾고 영역을 나누며 범주까지 구분한다. EASE는 이미지 분할 모델의 설계를 그대로 이어받은 구조에서 성능 기여가 작은 구성 요소가 있을 수 있다는 관찰을 바탕으로 제안됐다.
인코더 중심의 설계
Encoder-only라는 이름처럼 인코더 중심의 구성을 제안하고 더 단순한 구조로 시청각 의미 분할을 수행하는 방향을 살핀다. 구조를 줄이는 목표와 학습해야 하는 의미·공간 관계가 줄어든다는 주장은 다르다.
효율을 비교하는 조건
서로 다른 기반 모델과 입력 해상도에서 성능을 평가하고 처리 속도 및 학습 비용도 비교한다. 초당 프레임 수는 하드웨어·입력·측정 조건에 따라 달라지므로 한 숫자를 모든 실행 환경의 보장으로 읽어서는 안 된다.
정확도와 비용의 예
같은 물체 영역을 예측하더라도 입력 해상도를 낮추면 작은 물체의 경계 정보가 줄어들 수 있다. 구조 단순화의 효과를 판단하려면 해상도나 기반 모델 변화와 구별해야 한다. 속도뿐 아니라 목표 과제의 정확도를 함께 비교할 필요가 있다.
관련 문서
AVESFormer / AVSegFormer / AVSBench / LAVISH / COMBO 시청각 분할 / Stepping Stones 시청각 학습