작업을 넘어 공유하기
전체 단계 이름이 달라도 동작이나 대상 물체가 겹칠 수 있다. CrossTask 연구는 이런 구성 요소를 여러 작업에서 함께 학습하는 것이 단계 인식에 도움이 되는지 살펴본다.
시간 경계 대신 약한 감독
정확한 구간 경계를 훈련 주석으로 모두 제공하는 대신 교육 영상의 내레이션과 순서가 있는 단계 목록을 활용한다. 여기서 약지도는 감독 정보가 전혀 없다는 뜻이 아니다.
구성 요소 모델
단계를 구성 요소로 표현하는 모델을 시간 제약 아래 학습한다. 작업 전체를 하나의 독립된 라벨로 취급하는 것보다 부분 의미를 공유하는 데 초점을 맞춘다.
조합성과 평가
연구는 작업 간 공유와 구성 요소 수준 공유의 효과를 평가하고, 보지 못한 작업을 조합적으로 해석하는 가능성을 살펴봤다. 새로운 작업에 대한 결과는 알려진 구성 요소와 평가 조건에 따라 해석해야 한다.
관련 문서
COIN 교육 영상 데이터셋 / Ego4D Goal-Step / Bridge-Prompt / NeuralNetwork-Viterbi / MuCon 행동 분할 / 약지도 학습