자기 지도 표현의 활용
풍부한 지도 레이블로 학습한 전용 인코더 대신 범용 자기 지도 인코더의 표현을 기반으로 삼는다. 발화와 환경음, 음악, 준언어적 과제에서 여러 능력을 균형 있게 다룰 수 있는지 탐구한다.
여러 층의 특징 융합
MLF 어댑터는 인코더의 모든 층에서 정보를 모은 뒤 언어 모델의 입력 공간으로 투영한다. 마지막 층 하나만 선택하는 접근과 달리 계층별 표현을 함께 이용하려는 설계다.
문맥을 활용하는 능력
문맥 예시를 바탕으로 판단을 조정하는 멀티모달 문맥 내 학습도 살핀다. 연구에서는 이 능력이 자연스럽게 나타난다고 가정하지 않고 목표를 둔 문맥 편향 학습을 통해 획득할 수 있음을 실험했다.
훈련과 사용 시점의 구분
새 소리에 이름을 붙인 예시를 먼저 주고 비슷한 소리를 물으면 문맥 활용 여부를 생각해 볼 수 있다. 사용 중 예시를 읽는 과정과 그 능력을 갖추도록 모델을 훈련하는 과정은 구분해야 한다.