문서 둘러보기
ReRef-3D
ReRef-3D는 공간 지시 문장에 따라 삼차원 탁상 장면에 물체 하나를 배치하는 평가 자료다. 정답을 좌표 한 점으로 고정하기보다 공간 관계와 물리적 타당성을 만족하는 배치 영역으로 다룬다.
Multi3DRefer
Multi3DRefer는 한 설명이 가리키는 삼차원 물체의 수를 고정하지 않는 위치 추정 과제다. 설명에 맞는 대상이 없거나 하나 또는 여러 개인 경우를 포함하도록 ScanRefer를 확장했다.
ScanEnts3D
ScanEnts3D는 지시 문장에 언급된 물체들을 삼차원 장면의 인스턴스와 연결하는 주석 자료다. 최종 목표 물체뿐 아니라 주변 문맥에 등장하는 대상의 대응도 학습 신호로 제공한다.
ReferIt3D
ReferIt3D는 자연어 지시를 이용해 실제 삼차원 장면의 물체를 식별하는 과제와 자료 체계다. 같은 세부 범주에 속한 여러 후보 중 하나를 관계와 속성으로 구별하는 상황을 중심으로 구성됐다.
ScanRefer
ScanRefer는 자유 형식의 자연어 설명에서 지정한 물체를 삼차원 점군 안에서 찾는 과제와 모델이다. 문장의 의미와 물체의 기하 특징을 결합해 목표 물체의 삼차원 경계 상자를 예측한다.
ScanQA
ScanQA는 실내 삼차원 스캔을 보고 공간 장면에 관한 질문에 답하는 과제와 자료다. 질문의 언어 표현을 물체의 기하 특징과 연결해 대상의 위치를 찾고 자유 형식 답변을 생성한다.
SpatialSense
SpatialSense는 영상 안의 두 물체 사이 공간 관계를 평가하는 자료다. 단순한 이차원 배치나 언어적 빈도로는 풀기 어려운 예시를 사람이 찾는 적대적 수집 방식을 사용한다.
EgoAlign
EgoAlign은 장면을 에이전트 중심 좌표계로 표현하고 수치 자세에 맞춘 삼차원 이해를 학습하는 언어 모델이다. 자연어로 된 상황 설명 없이 위치와 방향에서 공간 문맥을 구성하려 한다.
Real-3DQA
Real-3DQA는 텍스트의 단순한 단서로 답을 추측하기 쉬운 질문을 걸러 삼차원 추론을 평가하는 벤치마크다. 모델이 장면 정보를 실제로 이용하는지 확인하고 공간 관계를 이해하는 능력을 세분해 살핀다.
MSR3D와 MSQA
MSQA는 삼차원 장면에서 상황에 맞는 질문에 답하도록 구성한 다중 모달 자료이며 MSR3D는 이를 다루는 기초 모델이다. 텍스트와 영상, 점군을 이용해 위치와 방향 및 질문의 문맥을 함께 표현한다.
SQA3D
SQA3D는 삼차원 장면에서 주어진 위치와 방향을 이해한 뒤 주변 환경에 관한 질문에 답하는 과제다. 장면 전체의 물체를 아는 능력뿐 아니라 특정 상황에서 환경을 해석하는 능력을 평가한다.
Blink 동적 시각 토큰
Blink는 영상 언어 모델에서 층마다 중요한 시각 토큰에 계산을 더 배분하는 방법이다. 어텐션 지도로 중요도를 추정하고 토큰 해상도를 동적으로 조절해 넓은 탐색과 세부 집중을 함께 수행한다.
Perception Programs
Perception Programs는 깊이와 흐름, 대응점 같은 시각 도구의 출력을 구조화한 언어 요약으로 바꾸는 방법이다. 픽셀별 결과를 영상 언어 모델이 추론에 활용하기 쉬운 단서로 표현한다.
BLINK 시각 지각 평가
BLINK는 다중 모달 언어 모델의 기초 시각 지각 능력을 평가하는 벤치마크다. 깊이와 대응점, 영상의 변형 흔적과 여러 시점의 관계처럼 언어 설명만으로 대신하기 어려운 과제를 객관식 질문으로 구성했다.
MMVP
MMVP는 CLIP 표현에서는 비슷하지만 시각적으로 분명한 차이가 있는 영상 쌍을 이용한 평가 자료다. 기본적인 시각 패턴을 질문해 다중 모달 언어 모델이 세부 차이를 실제로 구별하는지 살핀다.
MosaicThinker
MosaicThinker는 여러 영상 프레임의 공간 정보를 전역 의미 지도로 통합해 작은 영상 언어 모델의 추론을 돕는 방법이다. 자원이 제한된 장치에서 프레임 사이의 복잡한 공간 관계를 다룬다.
공간 추론에서 사고 사슬의 한계
공간 추론에서 사고 사슬의 한계는 텍스트로 추론 단계를 늘려도 영상의 위치와 방향 관계를 더 잘 이해하지 못할 수 있다는 문제다. 2026년 비교 연구는 공간 과제에서 프롬프트 방식과 시각 증거 의존도를 함께 시험했다.
Astra 시각 공간 추론
Astra는 영상 언어 정책과 세계 시뮬레이터를 결합해 다른 시점의 장면을 생성하면서 공간 문제를 푸는 체계다. 언제 어떤 관측을 생성할지 학습하고 생성 시점 사이의 자세와 내용 일관성도 조정한다.
AVIC 선택적 시각 상상
AVIC은 공간 추론에서 현재 시각 증거가 충분한지 판단한 뒤 세계 모델을 선택적으로 호출하는 방법이다. 다른 시점의 장면을 생성하는 작업의 필요성과 규모를 정확도 및 계산 비용과 함께 조절한다.
VSR 공간 관계 평가
VSR은 자연 영상과 공간 관계를 나타내는 영어 문장의 대응을 판단하는 평가 자료다. 물체의 위치와 방향을 이해하는 능력을 다양한 참조 틀과 관계 유형에 걸쳐 시험한다.
VALSE 시각 언어 평가
VALSE는 특정 언어 현상이 영상에 어떻게 연결되는지 평가하는 벤치마크다. 물체 이름의 인식보다 존재와 수량, 관계와 행동 등을 표현한 문장이 장면에 맞는지를 세분해 살핀다.
Winoground 실패 원인 분석
Winoground 실패 원인 분석은 영상 문장 대응 오류를 언어의 조합 이해 하나로 설명할 수 있는지 살핀 연구다. 상식 추론과 작은 물체의 지각, 영상 및 텍스트 표현의 융합 등 여러 요인을 구분한다.
조합 이해 벤치마크의 분포 비대칭
조합 이해 벤치마크의 분포 비대칭은 정답과 오답 후보를 만드는 과정에서 서로 다른 통계적 특징이 생기는 문제다. 모델이 영상과 문장의 관계 대신 길이나 언어적 자연스러움으로 정답을 고를 수 있다.
SugarCrepe
SugarCrepe는 영상과 올바른 설명의 대응을 조합적 방해 설명과 구별하는 평가 자료다. 영상을 보지 않고 문장의 어색함만으로 답을 고르는 편법을 줄이기 위해 자연스러운 음성 설명과 적대적 정제를 사용한다.
Winoground
Winoground는 단어가 같고 순서만 다른 두 문장을 두 영상에 올바르게 대응시키는 평가 자료다. 단어의 존재를 알아보는 능력과 문장 및 장면의 구성 관계를 이해하는 능력을 구별하려는 목적을 갖는다.
CulTi와 LACLIP
CulTi는 중국 고대 비단과 둔황 벽화의 영상 및 전문 설명을 연결한 검색 자료다. 함께 제안된 LACLIP은 전문 문장과 장식 문양의 지역적 대응을 추론 단계에서 보완하는 방법이다.
DCI 상세 영상 설명 자료
DCI는 자연 영상의 부분 영역에 대응하는 상세한 사람 작성 설명을 담은 자료다. 짧은 캡션만으로 확인하기 어려운 시각 언어 모델의 세부 내용 이해를 평가하기 위해 구성됐다.
DOCCI
DOCCI는 서로 관련되거나 비슷한 영상의 차이까지 설명하는 긴 영어 캡션 자료다. 물체의 속성과 공간 관계, 수량과 문자처럼 짧은 설명에서 빠지기 쉬운 내용을 포함하도록 구성했다.
ImageInWords
ImageInWords는 사람의 검토와 모델이 제공한 초깃값을 결합해 세밀한 영상 설명을 구성하는 체계다. 물체 단위의 설명을 보완하고 영상 전체의 관계와 문맥을 연결해 상세 캡션을 만든다.
DeBias-CLIP
DeBias-CLIP은 긴 영상 설명의 첫 요약 문장에 학습이 치우치는 문제를 줄이는 방법이다. 요약 제거와 문장 부분 표집, 텍스트 토큰 패딩을 이용해 여러 위치에 학습 신호를 분산한다.
문단 감독 영상 텍스트 검색
문단 감독 영상 텍스트 검색은 짧은 캡션 대신 여러 문장으로 된 설명을 학습 신호로 사용하는 접근이다. 2026년 비교 연구는 텍스트의 단위와 길이가 검색 성능에 미치는 영향을 고정된 영상 인코더 조건에서 살폈다.
Long-CLIP
Long-CLIP은 CLIP의 텍스트 입력 길이를 확장하면서 기존 표현 능력을 유지하도록 미세 조정하는 모델이다. 위치 임베딩 확장과 특징 성분 맞추기를 결합해 긴 설명을 활용하는 검색과 생성 과제를 다룬다.
SILC
SILC는 영상 텍스트 대조 학습에 지역과 전체 영상 사이의 자기 증류를 결합하는 사전 학습 방법이다. 영상 전체의 의미 대응과 함께 검출이나 분할에 필요한 공간 특징을 개선하려 한다.
COSMOS 교차 모달 자기 증류
COSMOS는 영상과 텍스트의 전체 및 부분 보기를 만들어 교차 모달 자기 증류를 수행하는 사전 학습 방법이다. 전경의 큰 물체 외에도 지역 정보와 문맥을 담는 표현을 학습하려 한다.
LaCLIP 언어 증강
LaCLIP은 영상 텍스트 사전 학습에서 같은 의미를 여러 문장으로 바꾸어 텍스트 증강에 사용하는 방법이다. 영상뿐 아니라 설명 문장의 어휘와 구조도 다양하게 노출해 표현의 전이 능력을 높이려 한다.
DreamLIP
DreamLIP은 긴 영상 설명에서 하위 설명을 표집해 영상 텍스트 사전 학습에 활용하는 방법이다. 하나의 영상에 여러 양성 쌍을 만들고 문장과 지역 패치 사이의 대응도 학습한다.
FLAIR 세부 영상 표현
FLAIR는 긴 영상 설명의 일부 문장을 활용해 텍스트에 맞는 세부 영상 표현을 학습하는 모델이다. 지역 영상 토큰에 텍스트 조건부 어텐션 풀링을 적용해 관심 내용에 대응하는 특징을 만든다.
CLIP의 예측 수준 허브성
CLIP의 예측 수준 허브성은 영상과 텍스트의 간격을 보정한 뒤 분류 출력이 소수 범주에 집중되는 실패 양상이다. 평균적인 표현 정렬이 개선되어도 범주 사이의 결정 관계가 나빠질 수 있음을 다룬다.
Cross the Gap 모달리티 역변환
Cross the Gap은 CLIP의 같은 모달리티 안에서 발생하는 표현 불일치를 모달리티 역변환으로 분석한 연구다. 영상끼리 또는 문장끼리 검색하는 과제를 교차 모달 비교로 바꾸어 성능을 살핀다.
MG-CLIP
MG-CLIP은 CLIP 기반 클래스 증분 학습에서 모달리티 간격의 보존과 보상을 함께 사용하는 방법이다. 이전 지식을 유지하는 능력과 새로운 범주에 적응하는 능력을 조절하려는 목적을 갖는다.
대조 간격
대조 간격은 두 인코더의 대조 학습에서 표현 분포가 서로 떨어지는 현상을 대조 손실의 성질로 설명하는 관점이다. 모달리티 차이 이외에도 학습 목적과 공간의 균일성에 주목한다.
CyCLIP
CyCLIP은 영상 텍스트 대조 학습에 표현 공간의 기하학적 일관성을 더하는 방법이다. 영상과 텍스트 사이의 유사도뿐 아니라 같은 모달리티 안에서의 관계도 서로 대응하도록 학습한다.
모달리티 간격
모달리티 간격은 공통 임베딩 공간에서도 영상과 텍스트 등 서로 다른 종류의 표현이 떨어진 영역에 놓이는 현상이다. 같은 좌표계를 사용한다는 사실만으로 두 모달리티의 표현 분포까지 일치하는 것은 아니다.
Robust CLIP
Robust CLIP은 CLIP의 영상 인코더를 비지도 적대적 미세 조정으로 강화하는 방법이다. 조작된 영상에 대한 취약성을 줄이고 이 인코더를 사용하는 영상 언어 모델에 강건성을 전달하는 문제를 다룬다.
측지선 다중 모달 믹스업
측지선 다중 모달 믹스업은 영상과 텍스트 임베딩을 초구면 위에서 혼합해 구분하기 어려운 음성 예시를 만드는 미세 조정 방법이다. 두 모달리티의 정렬과 표현의 균일한 분포를 개선하려는 목적을 갖는다.
CAR-FT
CAR-FT는 CLIP을 미세 조정할 때 영상의 배경과 양식, 시점 같은 맥락을 구분하는 능력을 유지하도록 규제하는 방법이다. 원래 모델과 조정 중인 모델이 내놓는 맥락 분포를 맞춘다.
TPGM
TPGM은 사전 학습 가중치에서 각 층이 얼마나 멀리 이동할 수 있는지를 학습하는 미세 조정 방법이다. 층마다 서로 다른 거리 제한을 두고 가중치 투영으로 이를 적용해 일반화 능력을 유지하려 한다.
FastTab
FastTab은 표 이미지에서 행과 열, 구분선과 병합 셀을 예측해 표의 격자 구조를 복원하는 모델이다. 작은 재귀 모듈과 행 및 열 방향의 일차원 트랜스포머를 결합한다.
TableSeq
TableSeq는 표 이미지의 논리 구조와 셀 내용, 셀 위치를 하나의 토큰열로 생성하는 인식 모델이다. 이미지에서 HTML 태그와 문자, 좌표를 함께 예측해 각 셀의 의미와 공간 배치를 연결한다.
CLIPer
CLIPer는 CLIP의 초기 층 정보와 확산 모델의 어텐션을 활용해 개방 어휘 의미 분할을 수행하는 방법이다. 영상 수준의 의미 표현을 픽셀별 영역 예측으로 옮길 때 공간 구조와 세부 경계를 보완한다.
Neighborhood Attention Transformer
Neighborhood Attention Transformer는 각 위치 주변의 가까운 위치에 어텐션을 적용하는 계층형 비전 트랜스포머다. 근방 어텐션을 사용해 영상 전체의 모든 위치 쌍을 비교하는 계산을 줄인다.
Lipsum-FT
Lipsum-FT는 영상 언어 모델을 미세 조정하면서 무작위 텍스트에 대한 기존 모델의 반응을 보존하도록 유도하는 방법이다. 학습 과제의 정확도를 높이는 과정에서 분포 변화에 대한 강건성이 낮아지는 문제를 다룬다.
StarFT
StarFT는 영상 언어 모델의 미세 조정 과정에서 배경이나 질감 같은 우연한 단서에 대한 의존이 커지는 것을 억제하는 방법이다. 혼동을 유발할 수 있는 특징을 넣은 텍스트 설명으로 규제 신호를 구성한다.
FLIP 영상 패치 마스킹
FLIP은 영상 텍스트 사전 학습에서 영상 패치 일부를 무작위로 제외해 계산량을 줄이는 방법이다. 절약한 자원을 더 많은 영상 텍스트 쌍과 큰 대조 배치에 활용한다.
WenLan과 BriVL
WenLan은 중국어 영상 텍스트 사전 학습 프로젝트이며 BriVL은 그 안에서 제안된 두 인코더 기반 모델이다. 사진과 글이 세부 내용까지 정확히 대응하지 않는 자료에서도 공통 의미를 배우는 문제를 다룬다.
BASIC 시각 언어 확장
BASIC은 영상 텍스트 대조 학습의 자료 규모와 모델 규모, 배치 크기를 함께 확장하는 방법이다. 제로샷 전이와 분포 변화의 성능을 평가하고 큰 학습을 위한 메모리 문제도 다룬다.
FILIP
FILIP은 영상 패치와 텍스트 단어의 세밀한 대응을 토큰별 최대 유사도로 학습하는 시각 언어 사전 학습 방법이다. 후단 상호작용을 대조 목적에 넣으면서 영상과 텍스트 표현의 사전 계산을 지원한다.
SLIP
SLIP은 영상 자체의 자기 지도 학습과 영상 텍스트 대응 학습을 함께 수행하는 다중 과제 사전 학습 프레임워크다. 두 종류의 감독을 결합한 시각 표현을 여러 전이 방식에서 평가한다.
DeCLIP 데이터 효율 학습
DeCLIP은 영상 텍스트 쌍의 대조 감독 외에 모달 내부와 여러 관측, 비슷한 다른 쌍의 정보를 함께 사용하는 사전 학습 방법이다. 같은 자료에서 더 많은 학습 신호를 얻어 시각 표현을 개선하려 한다.
SigLIP
SigLIP은 영상과 텍스트의 쌍별 시그모이드 손실로 시각 언어 표현을 사전 학습하는 방법이다. 배치 전체 유사도를 함께 정규화하는 소프트맥스 방식과 다른 학습 구성을 제시한다.
Conceptual 12M
Conceptual 12M은 시각 언어 사전 학습을 위해 수집 조건을 완화해 만든 1천 2백만 영상 텍스트 쌍의 데이터셋이다. 자료 규모와 다양성을 늘려 긴 꼬리의 시각 개념을 학습하는 효과를 연구했다.
LAION 영상 텍스트 데이터셋
LAION 영상 텍스트 데이터셋은 CLIP으로 필터링한 대규모 영상 설명 쌍을 시각 언어 모델 연구에 활용하도록 만든 자료 계열이다. 400M과 5B는 발표 시기와 규모가 다른 데이터셋이다.
DataComp
DataComp는 같은 CLIP 학습·평가 절차 아래 영상 텍스트 자료의 구성 방법을 비교하는 실험 플랫폼이다. 큰 후보 풀에서 필터링과 자료 선별을 바꾸어 데이터셋 설계의 효과를 평가한다.
MetaCLIP
MetaCLIP은 영상 텍스트 원자료와 개념 메타데이터를 이용해 학습 자료의 분포를 균형화하는 방법이다. 모델과 학습 조건을 고정해 자료 구성 자체가 시각 언어 표현에 미치는 영향을 살펴본다.
LiT 잠금 영상 조정
LiT는 사전 학습된 영상 모델을 고정하고 텍스트 모델을 대조 학습으로 맞추는 시각 언어 학습 방법이다. 기존의 좋은 영상 표현을 언어를 통해 새로운 과제에 활용하도록 한다.
WiSE-FT
WiSE-FT는 제로샷 모델과 미세 조정한 모델의 가중치를 결합해 과제 적응과 분포 변화 대응을 함께 개선하는 방법이다. 미세 조정으로 잃을 수 있는 기반 모델의 일반화를 보완하려 한다.
CLIP-Adapter
CLIP-Adapter는 프롬프트 입력 대신 시각 또는 언어의 특징을 작은 어댑터로 조정하는 시각 언어 모델 적응 방법이다. 새 특징과 사전 학습 특징을 잔차 방식으로 섞어 인식 과제에 활용한다.
TaskRes
TaskRes는 사전 학습된 텍스트 기반 분류기를 고정하고 새 과제의 잔차 매개변수를 더해 적응시키는 방법이다. 기존 지식과 후속 과제의 지식을 명시적으로 분리하려는 시각 언어 모델 조정 방식이다.
PromptSRC
PromptSRC는 후속 과제에 맞게 프롬프트를 학습하면서 기반 모델의 일반화를 유지하려는 자기 정규화 프레임워크다. 동결 모델과의 일치, 학습 경로의 앙상블, 텍스트 다양성을 함께 활용한다.
TPT 평가 시점 프롬프트 조정
TPT는 시험 표본 하나가 들어올 때 그 표본에 맞는 프롬프트를 즉시 조정하는 시각 언어 모델 적응 방법이다. 여러 증강 영상의 예측이 일관되도록 신뢰도 선택과 엔트로피 최소화를 사용한다.
MaPLe
MaPLe는 영상과 언어 양쪽 분기의 프롬프트를 함께 학습해 표현의 정렬을 개선하는 방법이다. 두 모달의 프롬프트를 연결하고 초기 여러 단계에서 서로 다른 문맥을 학습한다.
ProDA 프롬프트 분포
ProDA 프롬프트 분포 학습은 하나의 문구 대신 다양한 프롬프트의 분포를 배워 시각 언어 모델을 인식 과제에 적응시키는 방법이다. 프롬프트의 출력 임베딩을 가우시안 분포로 모델링한다.
CoOp와 CoCoOp
CoOp와 CoCoOp는 CLIP 같은 시각 언어 모델의 프롬프트 문맥을 학습하는 방법이다. CoOp는 고정된 학습 문맥을, CoCoOp는 입력 영상에 따라 달라지는 조건부 문맥을 사용한다.
Tip-Adapter
Tip-Adapter는 소수의 학습 예시로 만든 키 값 캐시를 이용해 CLIP의 분류를 보완하는 방법이다. 기본 구성은 역전파 없이 캐시에서 어댑터 가중치를 만들고 추가 미세 조정하는 확장도 제공한다.
CALIP
CALIP은 학습할 매개변수가 없는 어텐션으로 CLIP의 시각과 텍스트 특징을 서로 갱신하는 방법이다. 추가 자료나 학습 없이 제로샷 분류의 모달 정렬을 개선하려 한다.
ProxyCLIP
ProxyCLIP은 시각 기반 모델의 공간 대응을 대리 어텐션으로 사용해 CLIP의 개방 어휘 분할을 개선하는 방법이다. 언어 개념 인식과 지역적 일관성이 서로 다른 모델에서 강하다는 점을 결합한다.
NACLIP
NACLIP은 CLIP 비전 트랜스포머의 자기 어텐션에 지역적 위치 정보를 반영하는 개방 어휘 분할 방법이다. 별도 적응 자료나 보조 사전 학습 네트워크 없이 분할에 맞게 기반 모델을 활용한다.
ResCLIP
ResCLIP은 CLIP 중간 층의 공간 대응과 분할 결과의 의미 피드백을 이용해 마지막 어텐션을 개선하는 방법이다. 추가 학습 없는 밀집 예측을 위해 두 종류의 보정 모듈을 결합한다.
ClearCLIP
ClearCLIP은 CLIP의 마지막 층 표현을 바꾸어 지역 구별과 의미 분할을 개선하는 방법이다. 잔차 연결과 어텐션 출력의 역할을 분석하고 마지막 층에 세 가지 변경을 적용한다.
SCLIP
SCLIP은 CLIP 시각 인코더의 마지막 자기 어텐션을 바꾸어 추가 학습 없이 의미 분할에 적응시키는 방법이다. 기존 질의, 키, 값의 투영을 재사용하는 상관 자기 어텐션을 도입한다.
USB PD 240W와 노트북 입력 전력 제한
USB PD의 최대 240W 규격과 노트북이 실제 지원하는 USB-C 입력 전력은 다르다. CPU와 GPU 전력 합계만으로 PD 충전 중 성능을 판단할 수 없다.
CLIPSeg
CLIPSeg는 텍스트 또는 참조 영상으로 지정한 대상을 이진 마스크로 출력하는 분할 모델이다. CLIP 백본에 트랜스포머 디코더를 더해 한 모델로 여러 프롬프트 기반 분할 과제를 다룬다.
CLIPSelf
CLIPSelf는 CLIP 비전 트랜스포머의 영상 전체 인식 능력을 지역 표현에 옮기는 자기 증류 방법이다. 밀집 특징에서 얻은 영역 표현을 같은 영역을 잘라낸 영상의 전체 표현과 정렬한다.
DenseCLIP
DenseCLIP은 CLIP의 영상 텍스트 대응을 픽셀 텍스트 대응으로 바꾸어 밀집 예측을 돕는 프레임워크다. 영상 문맥을 언어 모델의 프롬프트에 반영하고 픽셀 점수 지도로 후속 학습을 안내한다.
LSeg
LSeg는 범주 이름의 텍스트 임베딩과 영상의 픽셀 임베딩을 정렬해 의미 분할을 수행하는 모델이다. 텍스트로 표지를 표현해 학습하지 않은 범주도 다시 학습하지 않고 지정하도록 한다.
GroupViT
GroupViT는 영상과 텍스트의 대응 학습만으로 의미 영역을 묶도록 설계한 계층적 비전 트랜스포머다. 픽셀 단위 정답 없이 영역 묶음을 학습한 뒤 추가 미세 조정 없이 의미 분할로 전이한다.
SegCLIP
SegCLIP은 학습 가능한 중심으로 영상 패치를 모아 의미 영역을 만드는 CLIP 기반 분할 모델이다. 영상 텍스트 쌍으로 영역 묶음을 배우고 복원 및 슈퍼픽셀 기반 학습 신호를 더한다.
CAT-Seg
CAT-Seg는 영상과 텍스트 임베딩 사이의 유사도 볼륨을 집계해 개방 어휘 의미 분할을 수행하는 방법이다. CLIP 인코더의 미세 조정과 모달 간 대응 점수의 결합을 함께 다룬다.
마스크 적응 CLIP
마스크 적응 CLIP은 가려진 영상 영역에 대한 인식 능력을 개선해 개방 어휘 의미 분할에 사용하는 방법이다. 영역과 캡션의 대응 자료를 만들고 미세 조정 및 마스크 프롬프트 조정을 연구했다.
ODISE
ODISE는 사전 학습한 영상 생성 확산 모델과 영상 텍스트 판별 모델의 표현을 결합하는 개방 어휘 파놉틱 분할 방법이다. 두 모델의 내부 표현을 고정해 다양한 언어 개념의 분할에 활용한다.
SAN 개방 어휘 분할
SAN은 고정한 CLIP 옆에 가벼운 네트워크를 붙여 개방 어휘 의미 분할을 수행하는 방법이다. 마스크 제안과 어텐션 편향을 별도로 예측하고 CLIP이 영역의 범주를 인식하도록 한다.
SEEM
SEEM은 점과 상자, 낙서, 마스크, 텍스트 등 여러 프롬프트로 대상을 지정하는 상호작용형 분할 모델이다. 시각과 언어의 공통 공간 및 이전 분할을 기억하는 프롬프트를 활용한다.
X-Decoder
X-Decoder는 픽셀 수준의 분할과 언어 토큰을 공통 의미 공간에서 예측하는 디코딩 모델이다. 일반 질의와 텍스트에서 얻은 의미 질의를 함께 사용해 여러 세밀함의 출력을 다룬다.
CRIS
CRIS는 CLIP의 다중 모달 지식을 활용해 자연어가 가리키는 대상을 픽셀 단위로 분할하는 모델이다. 시각 언어 디코딩과 텍스트 픽셀 대조 학습으로 문장과 영상 영역의 대응을 학습한다.
LISA 추론 분할
LISA는 복잡하거나 암묵적인 언어 요청에서 대상을 추론해 분할 마스크를 생성하는 다중 모달 언어 모델 기반 방법이다. 문장 생성 능력에 픽셀 영역을 출력하는 기능을 연결한다.
LAVT
LAVT는 자연어가 가리키는 물체를 픽셀 단위로 나누기 위해 시각 특징을 만드는 중간 단계부터 언어를 결합하는 모델이다. 복잡한 후단 융합 대신 언어를 반영한 시각 인코딩을 활용한다.
ReSTR
ReSTR는 합성곱 없이 트랜스포머로 영상과 언어를 처리하는 지시 영상 분할 모델이다. 각 모달의 긴 의존 관계를 학습하고 자기 어텐션으로 두 모달의 정보를 결합한다.
MAttNet
MAttNet은 자연어가 가리키는 영상 영역을 찾기 위해 대상의 외형, 위치, 다른 물체와의 관계를 나누어 처리하는 모델이다. 표현에 따라 각 모듈의 점수를 동적으로 결합한다.
TransVG
TransVG는 언어 표현에 대응하는 영상 영역을 트랜스포머로 찾는 시각적 그라운딩 모델이다. 후보 영역을 고르는 대신 대상의 경계 좌표를 직접 회귀하는 형식으로 문제를 구성한다.
Flickr30k Entities
Flickr30k Entities는 영상 설명 속 개체 표현과 실제 영상 영역을 연결한 데이터셋이다. 같은 대상을 가리키는 여러 표현을 묶고 수작업 경계 상자를 연결해 언어의 시각적 근거를 평가한다.