모달리티별 사건 구간
영상 파싱은 사건의 시간 구간을 나누고 그 사건을 어느 감각으로 관측할 수 있는지 함께 구분한다. 보이면서 들리는 사건만 찾는 조건에서 더 나아가 소리만 있거나 모습만 있는 사건도 다룬다.
약한 레이블로 배우기
LLP 데이터셋을 구성하고 영상 수준 레이블만으로 시간적 파싱을 학습하는 문제를 다룬다. 이를 멀티모달 다중 인스턴스 학습으로 정식화한다. 영상 전체의 사건 레이블과 구간마다의 정확한 경계 정답은 다른 감독 정보다.
시간 문맥과 잡음의 처리
하이브리드 어텐션으로 단일 모달리티와 교차 모달리티의 시간 문맥을 함께 살핀다. 어텐션 기반 MMIL 풀링을 제시하며 개별 안내 학습과 레이블 스무딩으로 모달리티 편향 및 잡음 레이블을 각각 완화하려 한다.
화면 밖 사건의 예
화면에는 조용히 움직이는 자전거가 보이고 화면 밖에서는 종소리가 들리는 장면을 생각할 수 있다. 모든 소리를 보이는 자전거에 붙이면 청각과 시각 사건을 잘못 합치게 된다. 어떤 사건이 어느 모달리티에 존재하는지 별도로 나누는 일이 필요하다.
관련 문서
AVE 시청각 사건 위치 추정 / MUSIC-AVQA / AVTS / 동기 예측 다감각 표현 / See Hear and Read / 자기 지도 학습