위키득계정 ↗
기술

SEEM

SEEM기술
발표
2023년
시각 입력 지정
점, 상자, 낙서, 마스크
모달 결합
공동 시각 의미 공간
상호작용 기억
학습 가능한 메모리 프롬프트
SEEM은 점과 상자, 낙서, 마스크, 텍스트 등 여러 프롬프트로 대상을 지정하는 상호작용형 분할 모델이다. 시각과 언어의 공통 공간 및 이전 분할을 기억하는 프롬프트를 활용한다.

여러 공간 지시의 통합

점이나 상자, 낙서, 마스크를 시각 프롬프트로 통합한다. 다른 참조 영상으로 지정하는 경우까지 확장해 분할할 대상을 여러 방식으로 전달할 수 있도록 했다.

언어와 시각 프롬프트의 조합

텍스트와 시각 프롬프트를 공동의 시각 의미 공간에서 학습한다. 두 프롬프트 유형을 동적으로 조합해 서로 다른 분할 요청에 대응하는 구조다.

이전 분할의 기억

디코더에 학습 가능한 메모리 프롬프트를 넣어 분할 이력을 유지한다. 마스크로 안내되는 교차 어텐션을 통해 이전 상호작용의 정보를 활용한다.

의미와 평가 범위

텍스트 질의와 마스크 표지를 같은 의미 공간에 인코딩해 개방 어휘 분할을 지원한다. 연구는 상호작용 분할과 일반 분할, 지시 분할, 동영상 물체 분할을 여러 자료에서 평가했다.

관련 문서

X-Decoder / LAVT / CRIS / 영상 분할 / 교차 어텐션 / 시각 언어 모델