위키득계정 ↗
기술

삼중항 손실 기반 단일 영상 행동 분할

삼중항 손실 기반 단일 영상 행동 분할기술
발표
CVPR Workshops 2023
학습 범위
입력 동영상 하나
표현 학습
얕은 신경망과 삼중항 손실
분할 단계
학습된 표현의 군집화
삼중항 손실 기반 단일 영상 행동 분할은 입력 동영상 자체에서 행동 표현을 학습하는 비지도 방법이다. 유사도 분포에 적용한 삼중항 손실로 프레임 표현을 바꾸고, 군집화로 행동 구간을 찾는다.

외부 훈련 영상과의 구분

별도의 훈련 동영상 집합을 모으는 대신 현재 입력 영상에서 분할에 맞는 표현을 배운다. 따라서 훈련 자료가 따로 필요 없다는 설명과 신경망 학습을 전혀 하지 않는다는 설명은 다르다.

유사도 분포에 적용한 손실

깊은 거리 학습을 얕은 신경망으로 수행하며 삼중항 손실을 유사도 분포에 적용한다. 기준 프레임과 비교할 두 프레임의 관계를 표현 학습에 반영한다.

삼중항의 선택

시간적 사전 정보와 의미적 사전 정보를 담는 선택 전략으로 삼중항을 구성한다. 새 표현 공간에서 행동 구간이 드러나도록 학습하는 과정이다.

표현 이후의 구간화

학습한 표현에 일반적인 군집화 알고리즘을 적용해 구간을 얻는다. 관련 연구는 두 행동 분할 벤치마크에서 평가했으며, 표현 학습과 최종 군집화의 영향을 구분해서 볼 수 있다.

관련 문서

TW-FINCH / 연속 시간 임베딩 기반 행동 학습 / HVQ 행동 분할 / CLOT 행동 분할 / 삼중항 손실 / 비지도 학습