미리 추출한 특징과의 차이
다른 과제로 학습한 모델에서 프레임 특징을 미리 뽑아 고정하는 방식과 달리, 영상 프레임을 직접 처리한다. 행동 분할 목적에 맞춰 특징 추출 단계도 함께 학습하는 설계다.
백본의 미세 조정
큰 백본을 효과적으로 미세 조정하기 위한 경량 어댑터를 사용한다. 최종 분할 모델만 바꾸는 대신 백본에 연결되는 학습 경로를 마련한다.
검출에서 분할로
성기게 다운샘플링한 영상에서 행동 후보를 먼저 예측한다. 이 후보를 바탕으로 모든 프레임의 라벨을 구하는 검출 기반 분할 틀을 사용한다.
행동 후보를 활용한 증강
행동 후보를 바탕으로 한 자료 증강도 훈련에 사용한다. GTEA, 50Salads, Breakfast, Assembly101에서 평가했으며, 사전 추출 특징 방식과 비교할 때 전체 학습 비용도 함께 확인해야 한다.
관련 문서
FACT 행동 분할 / UVAST / Difformer 행동 분할 / ASFormer / Assembly101 / 미세 조정