위키득계정 ↗
기술

TW-FINCH

TW-FINCH기술
발표
CVPR 2021
구조
시간 가중 계층적 군집화
연결 기준
최근접 이웃 그래프
학습 조건
분할 알고리즘의 추가 학습 없음
TW-FINCH는 시간 진행을 반영하는 계층적 군집화로 동영상의 행동 구간을 찾는 방법이다. 프레임을 최근접 이웃 그래프로 표현하며, 행동 분할을 위한 별도 학습 없이 구간을 구성한다.

닮은 프레임과 가까운 시간

외형이 비슷한 프레임이 항상 같은 행동 구간에 속하는 것은 아니다. TW-FINCH는 프레임 사이의 의미적 유사성과 시간 진행을 함께 고려한다.

최근접 이웃 그래프

각 프레임의 최근접 이웃 관계를 그래프로 표현한다. 시간 정보를 반영한 연결을 통해 의미와 시간상 일관된 프레임 군집을 형성한다.

계층적 구간 구성

군집은 계층적으로 구성되며 각 군집이 동영상의 행동에 대응할 수 있다. 학습된 분류기의 행동 이름을 곧바로 출력하는 것과는 다른 비지도 구간 발견 방식이다.

학습이 없다는 의미

분할을 위한 별도 훈련이 필요하지 않다는 설명을 사용 특징의 모든 구성 요소에도 학습이 없다는 뜻으로 확대해서는 안 된다. 관련 연구는 다섯 행동 분할 자료에서 방법을 평가했다.

관련 문서

HVQ 행동 분할 / ASOT 행동 분할 / CLOT 행동 분할 / 군집화 / 최근접 이웃 / 비지도 학습