위키득계정 ↗
기술

ViNet-S와 ViNet-A

ViNet-S와 ViNet-A기술
ViNet-S
경량 디코더 기반
ViNet-A
시공간 행동 위치 추정 특징
기반 설계
U-Net 형태
결합 방식
예측 현저성 지도 평균
ViNet-S와 ViNet-A는 동영상 현저성 예측의 크기와 특징 구성을 개선한 모델이다. 경량 디코더를 사용하는 변형과 시공간 행동 위치 추정 특징을 사용하는 변형을 함께 연구한다.

디코더의 경량화

ViNet-S는 ViNet 계열의 U-Net 설계에서 가벼운 디코더를 사용한다. 기존 구조를 그대로 반복하기보다 모델 크기와 매개변수 부담을 줄이는 방향에 초점을 둔다.

행동의 위치 단서

ViNet-A는 행동 분류 백본의 특징 대신 시공간 행동 위치 추정의 특징을 활용한다. 어떤 행동인지뿐 아니라 영상의 어디와 언제에서 행동이 나타나는지와 관련된 단서를 이용한다.

두 예측의 평균

연구는 두 모델이 예측한 현저성 지도를 평균하는 앙상블도 평가한다. 각 모델의 단독 성능과 결합 결과를 구분하면 서로 다른 특징의 보완 효과를 살필 수 있다.

속도 수치의 조건

연구에서 보고한 높은 처리량을 실제 서비스의 전체 지연 시간과 같게 볼 수는 없다. 프레임 읽기와 전처리, 배치 크기 및 장비를 포함해 사용 조건에 맞는 속도를 확인해야 한다.

관련 문서

ViNet / TASED-Net / STSANet / 앙상블 학습 / 동영상 / 컴퓨터 비전