길이 확장 뒤에도 남는 편향
사람이나 언어 모델이 작성한 긴 설명은 처음에 전체 장면을 요약하고 뒤에 세부 내용을 붙이는 경우가 많다. 이 구조가 학습에서 앞부분만 사용해 대응을 맞추는 지름길로 작용할 수 있다.
첫 요약 문장의 제거
학습 중 요약 문장을 제거해 뒷부분의 정보도 활용하게 한다. 입력을 길게 받을 수 있는 능력과 여러 문장의 세부 내용을 실제로 반영하는 능력을 분리해 다룬다.
감독 신호의 위치 분산
문장의 일부를 표집하고 텍스트 토큰 패딩을 적용해 감독 신호가 여러 토큰 위치에 분포하도록 한다. Long-CLIP을 대체하는 구성으로 평가하며 추가 학습 매개변수를 도입하지 않는다.
검색과 문장 순서 평가
긴 설명과 짧은 설명의 검색을 평가하고 문장 순서를 바꿨을 때의 민감도도 비교했다. 추가 매개변수가 없더라도 새로운 학습 과정은 필요하므로 학습 없이 적용하는 조작과는 다르다.
관련 문서
Long-CLIP / DreamLIP / LaCLIP 언어 증강 / CLIP / 지름길 학습 / 자료 증강