간단한 구조의 비교
인코더는 입력을 특징 공간으로 보내고 디코더는 그 특징에서 현저성을 추정한다. 의도적으로 단순한 구조를 사용해 입력 모달리티가 바뀌는 영향을 분석하려는 구성이다.
소리 단서의 활용
연구는 시각 단독 입력과 시청각 입력 등 여러 조건을 비교한다. 평가한 자료에서 눈에 보이는 음원이 시청각 모델의 이득과 관련된다고 보고했다.
특징 표현의 영향
복잡한 디코더만이 아니라 풍부한 입력 특징도 예측에 중요하다는 점을 살핀다. 구조와 입력 특징을 동시에 바꾸면 개선 원인이 섞일 수 있어 같은 틀의 기준선이 유용하다.
결과의 적용 범위
특정 자료에서 소리의 이득을 확인해도 모든 장면에서 같은 개선이 생기는 것은 아니다. 음원과 영상 대상의 연결, 음성 품질과 시각 기준선의 강도를 함께 고려해야 한다.