서로 다른 정보의 융합
삼차원 기하와 이차원 의미 정보는 구조와 성질이 다르다. MoE3D는 하나의 밀집 융합망이 모든 관계를 동일하게 처리하는 대신 여러 전문가로 역할을 나누는 방식을 사용한다.
전문가와 정보 집계
각 전문가는 특정 모달리티나 모달리티 사이의 상호작용을 다룬다. 전문가 혼합 트랜스포머와 정보 집계 모듈로 시각 특징에 담긴 상보적인 내용을 결합한다.
선택적 처리와 초기화
Top-1 게이팅으로 전문가 그룹에서 특징을 처리할 전문가를 선택한다. 의미 정보와 이차원 사전 지식을 활용하는 점진적 사전 학습도 제안해 후속 학습의 초기 표현을 구성한다.
후속 과제의 비교
네 종류의 삼차원 이해 과제에서 성능을 평가했다. 전문가를 선택한다는 사실만으로 전체 계산량이 항상 작아지는 것은 아니므로 전문가 구성과 실제 실행 비용을 함께 확인해야 한다.
관련 문서
전문가 혼합 / Multi3DRefer / HCF-RES / 3D-VisTA / 트랜스포머 / 점군