단일 행동을 넘어선 문맥
현실의 활동은 서로 관련된 행동이 일정한 순서로 이어지는 경우가 많다. Bridge-Prompt는 짧은 클립의 행동 종류뿐 아니라 인접 행동 사이의 문맥 관계를 표현하려 한다.
라벨을 프롬프트로 바꾸기
개별 행동 라벨들을 통합된 텍스트 프롬프트로 재구성한다. 서로 분리된 행동 의미를 연결하는 감독 정보로 활용하는 과정이다.
두 인코더의 공동 학습
생성한 프롬프트를 대응하는 영상 클립과 짝지어 텍스트 인코더와 영상 인코더를 대조 학습한다. 이렇게 얻은 시각 표현을 행동 순서와 관련된 후속 과제에 사용한다.
후속 과제
행동 분할과 사람 활동 인식에 활용하며 GTEA, 50Salads, Breakfast에서 평가했다. 프롬프트를 쓴다는 사실만으로 주석이 필요 없는 비지도 방법이라고 볼 수는 없다.
관련 문서
LaViLa / EgoVLP / Norton 영상 언어 대응 학습 / MuCon 행동 분할 / 대조 학습 / 프롬프트