입력은 모달에 맞게
각 입력 모달은 해당 인코더에서 표현을 만든다. 물체 탐지부터 자연어 이해까지 입력 형태가 다른 과제를 처리하되 뒤쪽의 예측 과정은 공유할 수 있도록 구성한다.
공유 디코더와 출력 헤드
인코딩한 입력 표현 위에서 같은 디코더가 과제별 예측에 필요한 정보를 만든다. 마지막에는 과제별 출력 헤드를 사용하므로 모든 출력 형식을 하나의 헤드로 처리하는 구조는 아니다.
여러 손실로 공동 학습
각 과제의 손실로 모델 전체를 끝에서 끝까지 함께 학습한다. 과제마다 모델을 별도로 미세 조정하는 방식과 달리 여러 과제가 같은 매개변수를 공유하도록 한다.
공유의 평가
연구는 여덟 데이터셋에서 일곱 과제를 함께 학습해 과제별 성능과 매개변수 사용을 평가했다. 공유의 이점은 각 과제의 입력과 손실 구성이 함께 작용한 결과로 해석해야 한다.
관련 문서
Unified-IO / OFA / FLAVA / 트랜스포머 / 다중 작업 학습 / 물체 탐지