위키득계정 ↗
기술

THTD-Net

THTD-Net기술
특징 추출
시공간 트랜스포머
핵심 처리
높은 시간 차원의 디코딩
시간 집계
디코더 안에서 점진적 축소
과제
동영상 현저성 예측
THTD-Net은 시공간 트랜스포머가 추출한 특징의 시간 차원을 디코더에서 점진적으로 줄이는 동영상 현저성 예측 모델이다. 여러 디코더를 두지 않고 시간 특징을 집계하는 구성을 제안한다.

시간 특징을 언제 합칠까

시공간 인코더로 특징을 얻은 뒤 시간 정보를 어떤 단계에서 합칠지는 별도의 설계 문제다. THTD-Net은 시간 차원을 디코더에 남겨 점차 줄이는 방식을 다룬다.

하나의 디코더 구성

여러 갈래의 디코더를 필요로 하지 않는 구조를 제안한다. 인코더 특징 사이의 계층적 상호작용을 고려하면서 최종 현저성 지도로 변환하려는 접근이다.

시간과 공간의 균형

공간적으로 정밀한 위치를 복원하는 일과 여러 프레임의 정보를 집계하는 일은 함께 고려해야 한다. 너무 이르게 시간 차원을 없애면 이후 단계가 사용할 수 있는 정보가 달라진다.

벤치마크 해석

연구는 DHF1K, UCF-Sports와 Hollywood-2 같은 자료에서 비교한다. 구조가 단순해졌다는 주장과 실제 속도·메모리 감소는 동일한 입력 조건에서 각각 확인해야 한다.

관련 문서

TASED-Net / UNISAL / UniST / 트랜스포머 / 동영상 / 컴퓨터 비전