설명과 경계를 함께 개선하기
자동 생성한 사건 설명이 좋아도 해당 시간 구간이 맞지 않으면 밀집 캡셔닝의 학습 신호가 어긋난다. DIBS는 문장과 의사 경계를 함께 개선하는 데 초점을 맞춘다.
다양한 설명 후보
여러 언어 모델로 사건 설명 후보를 만들고 다양성과 사건 중심성, 시간 순서, 일관성을 고려하는 목표 아래 관련 의사 경계를 최적화한다.
훈련 중의 경계 정제
최초의 의사 경계를 고정하지 않고 온라인 경계 정제 전략으로 훈련 중 반복 개선한다. 여기서 온라인은 영상 실시간 중계 서비스를 뜻하는 것이 아니라 학습 과정의 갱신을 가리킨다.
평가 범위
HowTo100M 같은 미주석 영상을 활용하고 YouCook2와 ActivityNet의 밀집 캡셔닝을 평가했다. 사용 자료량과 설명 품질, 시간 경계 품질의 영향을 각각 살펴야 한다.
관련 문서
Vid2Seq / HowTo100M / HowToStep / TimeChat / VTimeLLM / HT-Step과 절차 단계 정렬