위키득계정 ↗
기술

MSI-Net

MSI-Net기술
전체 이름
Multi-Scale Information Network
구조
문맥 기반 인코더·디코더
다중 크기 처리
여러 팽창률의 합성곱
추가 문맥
전역 장면 정보
MSI-Net은 다중 크기의 영상 특징과 전역 장면 정보를 결합하는 현저성 예측 모델이다. 영상 분류로 사전 학습한 합성곱 인코더와 여러 팽창률의 병렬 모듈을 활용한다.

물체와 장면 문맥

어느 영역이 시선을 끄는지는 물체의 세부 모습뿐 아니라 전체 장면의 내용과 관련될 수 있다. MSI-Net은 여러 공간 크기의 고수준 특징에 문맥 정보를 더하는 접근이다.

병렬 팽창 합성곱

서로 다른 팽창률의 합성곱 계층을 가진 모듈로 다중 크기 특징을 병렬 추출한다. 크기가 다른 주변 범위를 하나의 처리 단계에서 함께 활용할 수 있게 한다.

전역 정보 결합

얻은 표현에 전체 장면 정보를 결합해 현저성을 예측한다. 국소적인 특징만 볼 때 놓칠 수 있는 장면 수준의 관계를 보완하려는 구성이다.

경량 백본의 범위

연구는 상대적으로 가벼운 영상 분류 백본을 기반으로 여러 데이터셋에서 평가한다. 실제 장치에서 쓸 때는 백본 크기와 함께 전체 입력 해상도, 디코더 및 전처리 비용을 확인해야 한다.

관련 문서

DINet / EML-NET / DeepGaze IIE / SALICON / 팽창 합성곱 / 컴퓨터 비전