시각 특징만으로 예측하기
인코더는 행동 인식용으로 학습한 네트워크의 시각 특징을 사용한다. 디코더는 여러 계층의 특징을 결합해 현저성 지도를 만든다. 기본 ViNet은 오디오를 입력으로 쓰지 않는다.
시청각 기준선의 의미
음성이 있는 데이터셋에서 평가했다고 반드시 오디오를 활용한 모델인 것은 아니다. ViNet은 시각 전용 모델과 시청각 모델을 비교할 때 강한 시각 기준선이 필요하다는 문제를 제기한다.
음성을 추가한 실험
오디오 특징을 디코더에 더한 변형도 검토했다. 해당 실험에서는 충분히 학습한 뒤 오디오를 바꿔도 출력이 달라지지 않는 현상이 관찰됐다.
기여 검사의 범위
이 결과가 음성이 언제나 불필요하다는 뜻은 아니다. 소리 입력을 제거하거나 바꾸는 실험으로 특정 모델이 실제 음성 정보를 사용하는지 확인하고 자료 조건별 차이를 살펴야 한다.