도구 출력의 표현 문제
시각 도구를 호출해 필요한 정보를 얻어도 모델이 결과를 적절히 해석하지 못할 수 있다. 깊이 지도나 흐름처럼 밀집된 픽셀 표현과 언어 중심 추론 사이의 차이를 다루는 접근이다.
구조화한 언어 단서
도구 결과를 작고 구조화된 언어 요약으로 변환한다. 모델이 직접 해석할 수 있는 형태로 관계와 단서를 전달해 원시 도구 출력을 그대로 넣는 방식과 비교한다.
추가 학습 없이 결합
방법 자체는 추가 학습이나 기초 모델 구조 변경 없이 적용하는 구성이다. 다만 시각 도구와 언어 모델의 추론은 수행하므로 학습 여부와 실행 비용은 별도로 봐야 한다.
비교 실험의 조건
BLINK의 여섯 지각 과제에서 기본 모델 및 원시 도구 출력을 이용하는 기준선과 비교했다. 이 방식은 필요한 단서를 시각 도구가 제공할 수 있는 문제를 전제로 하며 도구 자체의 오류까지 사라지는 것은 아니다.
관련 문서
BLINK 시각 지각 평가 / 깊이 추정 / 광학 흐름 / 영상 언어 모델 / MosaicThinker / 공간 추론