시각 자료를 함께 다루기
정지 이미지와 영상, 깊이 정보가 있는 시각 자료를 각각 별도 모델로 처리할 수 있다. Omnivore는 이런 시각 모달리티를 공통 파라미터로 처리하는 모델을 제안했다.
분류 과제의 공동 학습
서로 다른 모달리티의 분류 데이터를 사용해 트랜스포머 모델을 함께 학습한다. 모달리티가 다양하다는 사실과 정답 라벨이 없는 자기지도 학습이라는 조건은 같지 않다.
대응 쌍 없이 얻는 전이
공통 시각 표현은 모달리티 사이의 대응 쌍을 제공하지 않아도 교차 모달리티 인식을 가능하게 한다. 같은 사건을 촬영한 영상과 깊이 자료가 반드시 쌍으로 있어야 한다는 설정과 차이가 있다.
자료 범위와 성능
ImageNet과 Kinetics, SUN RGB-D 등에서 평가했다. 단일 시점 3차원 자료를 다루는 결과를 임의의 전체 3차원 장면 이해로 넓혀 해석해서는 안 되며, 공동 학습 데이터와 미세 조정 조건도 함께 봐야 한다.