비슷하다는 말의 여러 뜻
두 이미지가 같은 색을 많이 포함한다고 물체의 모양이나 배치까지 닮았다고 할 수는 없다. DreamSim은 픽셀과 작은 패치의 저수준 차이에 머물지 않고 이미지 전체의 유사도를 다룬다. 물체 자세와 배치, 의미 내용 같은 중간 수준의 차이도 관심 대상이다.
생성 자료로 비교 수집
텍스트에서 이미지를 생성하는 모형으로 다양한 방향의 차이를 가진 합성 이미지를 만든다. 사람에게 유사도를 판단하게 하고 이 판단에 맞도록 지각 척도를 조정한다. 생성 이미지로 학습했다는 사실과 사람의 비교 판단을 사용한다는 사실을 구분해야 한다.
색과 내용이 엇갈리는 예
설명용으로 붉은 자전거 사진을 기준으로 생각할 수 있다. 붉은 의자 사진은 색이 가깝고 푸른 자전거 사진은 물체 종류가 가깝다. 어느 속성을 중요하게 보는지에 따라 비교가 달라진다. 이 예는 실제 실험 문제가 아니며 모델이 어느 쪽을 반드시 선택한다는 주장도 아니다.
유사도와 사실성
DreamSim은 전경 물체와 의미 내용에 주목하면서 색과 배치에도 반응하는 특성을 다룬다. 검색 및 재구성에서 활용할 수 있지만 유사하다는 판정이 촬영 사실이나 세부 내용의 진위를 증명하지는 않는다. 목표 작업에 필요한 차이를 모델이 구별하는지 함께 확인한다.