행동과 물체의 연결
전체 행동 정보로 언어 설명과 국소 영역 물체 사이의 상호작용을 돕는다. 영상 전체가 어떤 활동인지와 개별 물체가 무엇인지의 단서를 함께 활용하는 방식이다.
세 정보의 인코딩
트랜스포머 블록으로 전역 행동과 국소 물체, 언어 설명을 인코딩한다. 각각을 따로 최종 비교하는 대신 문맥 속에서 연결하려 한다.
전역과 국소의 대응
문맥에서 단서를 추출해 전역과 국소의 대응을 발견한다. 세밀한 물체 정보와 더 넓은 활동 의미가 공동 표현에 반영되도록 학습하는 목적이다.
후속 과제
영상 텍스트 검색과 영상 설명, 영상 질의응답, 행동 분할, 단계 위치 검출에서 전이를 평가했다. 행동 의도에 관한 표현을 학습하는 것과 사람의 실제 의도를 확실히 아는 것은 다르다.
관련 문서
VideoBERT / HERO 영상 언어 모델 / ALPRO / VideoCLIP / CrossTask / 다중모달 학습