내용 인식 너머의 질문
사진 속 물체를 맞히는 능력과 어느 부분이 흐린지 설명하는 능력은 다르다. Q-Instruct는 저수준 외관을 지각하고 이해하는 능력을 높이기 위한 자료를 구성한다. 모형이 질문에 자연스럽게 답하는 것과 시각적 근거가 정확한 것은 구분해야 한다.
사람의 상세한 피드백
사람에게 저수준 외관을 자세히 설명하고 전체적인 판단으로 마무리하는 피드백을 수집한다. Q-Pathway는 다양한 외관을 가진 이미지의 이런 설명을 담는다. 단일 품질 숫자만으로는 알기 어려운 판단 단서를 언어로 제공하는 방향이다.
지시와 응답으로 변환
GPT가 참여하는 변환 과정으로 피드백을 여러 형식의 질문 및 응답 쌍으로 바꾼다. 모형이 다양한 종류의 질문에 대응하도록 하기 위해서다. 사람의 원래 관측과 변환된 문답의 일관성은 구분해 확인할 필요가 있다.
부위 설명의 예
설명용 질문으로 사진 전체가 선명한지와 오른쪽 아래 글자가 읽히는지를 따로 물을 수 있다. 전체 인상만으로 작은 영역의 상태가 결정되지는 않는다. 이는 다양한 질문의 필요성을 보여주는 독립 예이며 실제 학습 문답을 옮긴 것은 아니다.