위키득계정 ↗
기술

STSANet

STSANet기술
기반
삼차원 합성곱 백본
관계 모듈
시공간 자기 주의
융합 모듈
Attentional Multi-Scale Fusion
대상
동영상 현저성 예측
STSANet은 삼차원 합성곱 특징에 시공간 자기 주의를 결합한 동영상 현저성 예측 모델이다. 서로 다른 시간의 특징 관계와 다중 수준 문맥을 함께 처리한다.

국소 커널 바깥의 관계

삼차원 합성곱은 커널 범위의 시공간 정보를 처리한다. STSANet은 서로 떨어진 시간 단계의 시각 특징 관계를 직접 다루기 위해 자기 주의 모듈을 더한다.

여러 계층의 자기 주의

백본의 서로 다른 수준에 여러 시공간 자기 주의 모듈을 사용한다. 시간에 따라 변하는 특징 사이의 장거리 관계를 표현하려는 구성이다.

주의 기반 다중 크기 융합

AMSF 모듈은 의미 정보와 시공간 문맥을 고려해 여러 수준의 특징을 통합한다. 특징을 단순히 나란히 붙이는 것과 구별되는 융합 접근이다.

관계와 융합의 검증

자기 주의와 다중 크기 융합을 함께 사용하면 개선 원인이 섞일 수 있다. 각 모듈을 제외한 비교와 여러 동영상 데이터셋의 평가를 통해 기여를 구분한다.

관련 문서

TASED-Net / THTD-Net / UniST / 주의 메커니즘 / 합성곱 신경망 / 컴퓨터 비전