서로 다른 출력의 통합
깊이 지도와 경계 상자, 문장은 출력 형식부터 다르다. Unified-IO는 지원하는 입력과 출력을 공통 토큰 시퀀스로 바꿔 하나의 구조에서 다룰 수 있게 한다.
시각 과제와 언어 과제
자세 추정, 물체 탐지, 깊이 추정, 영상 생성뿐 아니라 영역 설명과 지시 표현 과제를 포함한다. 질의응답과 바꾸어 쓰기 같은 자연어 처리도 같은 학습 틀에 넣는다.
공동 학습의 범위
시각과 언어 분야의 90개가 넘는 데이터셋으로 단일 트랜스포머를 함께 학습한다. 출력 형식의 통일은 여러 과제의 자료를 공동으로 사용할 기반이 된다.
추가 미세 조정과 평가
논문은 과제별 추가 미세 조정 없이 GRIT의 일곱 과제와 여러 벤치마크를 평가했다. 이는 이미 다양한 자료로 공동 학습한 모델의 평가 조건이며 모든 과제가 학습 자료에서 완전히 빠졌다는 뜻은 아니다.
관련 문서
OFA / GIT 영상 텍스트 생성 / FLAVA / 토큰 / 깊이 추정 / 물체 탐지