현재 구간과 미래 행동
행동 분할은 관측된 영상의 구간을 나누고, 장기 행동 예측은 아직 보지 않은 부분의 행동을 예상한다. ActFusion은 관련된 두 과제를 별개 모델로 분리하지 않고 공동 학습한다.
보이는 영역과 가린 영역
시퀀스의 관측 영역은 구간화에 사용하고 미관측 영역은 미래 예측 대상으로 사용한다. 하나의 확산 모델이 두 종류의 영역을 통합적으로 처리하도록 학습한다.
예측 지향 마스킹
훈련 중 영상 프레임의 뒤쪽 일부를 가린 뒤 학습 가능한 토큰으로 대체한다. 미래 구간을 예측하는 연습을 분할 학습과 연결하는 장치다.
공동 학습의 평가
50Salads, Breakfast, GTEA에서 두 과제의 상호 이점을 평가했다. 공동 모델의 성능과 미래 행동을 확정적으로 안다는 주장은 다르며, 예측은 관측 정보에 따른 추정이다.
관련 문서
Diffusion Action Segmentation / EffiDiffAct / Difformer 행동 분할 / LTContext / 확산 모델 / 행동 인식