문서 둘러보기
ProofNet
ProofNet은 대학 학부 수준 수학의 자동 형식화와 형식 증명을 평가하는 자료다. 자연어로 적은 명제와 증명을 Lean의 형식 명제와 함께 제공해 표현의 변환과 증명 연구를 연결한다.
HOList
HOList는 고차 논리의 자동 정리 증명을 기계 학습으로 연구하기 위한 환경과 평가 모음이다. HOL Light를 기반으로 강화 학습 환경을 제공하고 관련 신경 증명기 DeepHOL도 제안했다.
miniF2F
miniF2F는 여러 증명 시스템에서 신경망 기반 정리 증명을 비교하기 위한 수학 문제 명세 자료다. 수학 경시와 교육 과정의 문제를 형식적인 명제로 표현해 공통 평가를 마련하려 했다.
LeanDojo
LeanDojo는 Lean의 증명 환경과 언어 모델 연구를 연결하는 도구·자료·모델·평가 모음이다. 증명에서 필요한 전제를 검색해 선택하는 문제를 다루고 새로운 전제에 대한 일반화도 평가하도록 제안됐다.
Mathlib
Mathlib는 Lean으로 형식화한 수학을 모으는 공동체 기반 라이브러리다. 여러 정의와 정리를 통합된 구조에서 재사용하며 수학적 증명을 체계적으로 쌓는 것을 목표로 한다.
Lean 증명 도구
Lean은 수학적 주장과 프로그램에 관한 성질을 형식적으로 표현하고 증명을 검사하는 도구이자 프로그래밍 언어다. 사람이 단계적으로 증명을 구성하는 작업과 자동화된 추론을 함께 지원하도록 설계됐다.
Alloy 모델링
Alloy는 구조와 그 변화를 제약식으로 설명하고 가능한 사례를 탐색하는 모델링 언어다. Alloy Analyzer는 조건을 만족하는 구조나 속성을 깨는 반례를 찾아 모델을 이해하고 검토하도록 돕는다.
TLA+
TLA+는 프로그램과 시스템을 코드보다 높은 수준에서 명세하는 언어다. 특히 동시·분산 시스템의 가능한 동작을 수학적으로 표현하고 구현 전에 설계의 속성을 검사하는 데 쓰인다.
cvc5
cvc5는 여러 배경 이론을 사용하는 논리식의 만족 가능성을 검사하는 자동 정리 증명 도구다. CVC4의 후속 프로젝트로, 단독 실행과 라이브러리 형태를 모두 지원하고 함수 합성 기능도 제공한다.
Z3
Z3는 여러 배경 이론에 관한 논리식을 풀어 만족 가능한지 검사하는 도구다. 프로그램의 조건을 수식으로 표현하는 소프트웨어 분석과 검증 도구의 구성 요소로 활용할 수 있다.
CBMC
CBMC는 C와 C++ 프로그램의 속성을 정해진 실행 범위에서 검사하는 모델 검사 도구다. 반복문을 펼친 프로그램을 수식으로 바꾸어 단언을 위반하는 실행이 있는지 판단한다.
KLEE
KLEE는 기호 실행으로 프로그램의 여러 경로를 탐색하고 시험 입력을 만드는 엔진이다. 구체적인 값을 처음부터 하나 정하는 대신 경로의 조건을 모아 이를 만족하는 입력을 구한다.
Callgrind
Callgrind는 프로그램 실행에서 함수의 호출 관계와 비용을 기록하는 Valgrind 도구다. 호출 그래프를 통해 비용이 어느 함수와 호출 경로에서 생기는지 분석하고 선택적으로 캐시와 분기 예측도 모의한다.
Memcheck
Memcheck는 Valgrind에 포함된 메모리 오류 검사 도구다. 잘못된 메모리 접근과 초기화하지 않은 값의 사용, 부적절한 해제 및 누수 등을 실행 중에 찾아 원인 분석에 필요한 정보를 보고한다.
MemorySanitizer
MemorySanitizer는 초기화하지 않은 메모리의 사용을 실행 중에 찾는 C·C++ 검사 도구다. 컴파일 계측과 비트 단위의 그림자 메모리를 이용하며 값의 출처를 추적하는 방식도 제공한다.
ThreadSanitizer
ThreadSanitizer는 여러 스레드 사이에서 발생하는 데이터 경쟁을 찾는 도구다. 컴파일러가 넣은 계측과 실행 시간 라이브러리를 이용해 문제에 관련된 접근과 호출 위치를 보고한다.
AddressSanitizer
AddressSanitizer는 실행 중 잘못된 메모리 접근을 찾는 도구다. 메모리 할당 방식과 코드 계측을 함께 사용해 경계를 벗어난 접근이나 해제한 메모리의 사용 같은 오류를 감지한다.
UndefinedBehaviorSanitizer
UndefinedBehaviorSanitizer는 프로그램 실행 중 여러 종류의 정의되지 않은 동작을 찾는 도구다. 컴파일 때 검사를 추가하고 실행 중 잘못된 연산이나 포인터 사용 등을 감지하도록 구성한다.
AFL++
AFL++는 AFL을 바탕으로 여러 퍼징 연구 기법을 결합한 시험 도구다. 입력 변형과 계측을 확장하고 새로운 기법을 다른 방법과 함께 비교할 수 있도록 구성했다.
libFuzzer
libFuzzer는 실행 경로의 커버리지를 이용해 입력을 변형하는 프로세스 내부 퍼징 엔진이다. 시험할 라이브러리와 연결해 대상 함수를 반복 호출하고 새로운 경로에 도달한 입력을 다음 탐색에 활용한다.
Hypothesis 테스트 도구
Hypothesis는 입력의 범위와 항상 성립해야 할 성질을 정해 프로그램을 검사하는 Python 라이브러리다. 여러 입력을 자동으로 생성하며 실패 사례를 줄이고 다시 실행하는 기능으로 오류 분석을 돕는다.
Csmith
Csmith는 무작위 C 프로그램을 만들어 컴파일러의 오류를 찾는 도구다. 같은 프로그램을 서로 다른 컴파일러로 처리한 결과를 비교하는 차등 시험을 주요 판단 방법으로 사용한다.
델타 디버깅
델타 디버깅은 실패를 재현하는 입력에서 불필요한 부분을 줄여 원인 분석을 돕는 방법이다. 입력의 일부를 제거하고 같은 실패가 남는지 반복 검사해 더 작은 재현 사례를 찾는다.
AlphaCode
AlphaCode는 경쟁 프로그래밍 문제의 풀이 코드를 생성하는 시스템이다. 많은 후보를 생성해 탐색한 뒤 프로그램의 동작을 바탕으로 걸러 적은 수의 제출안을 선택하는 방식을 제안했다.
InCoder
InCoder는 코드를 왼쪽부터 생성하는 작업과 중간의 빈 부분을 채우는 편집을 함께 지원하는 모델이다. 코드 앞뒤의 문맥을 모두 이용할 수 있도록 학습 자료의 일부 구간을 가리고 재배치했다.
PolyCoder
PolyCoder는 여러 프로그래밍 언어의 코드만으로 학습한 GPT-2 기반 모델이다. 코드 언어 모델의 자료와 구조 선택을 연구할 수 있도록 공개된 모델을 제안한 체계적 비교 연구에서 소개됐다.
Qwen2.5-Coder
Qwen2.5-Coder는 Qwen2.5 구조를 바탕으로 코드 자료의 추가 사전 학습을 수행한 모델 계열이다. 코드 생성과 완성, 추론 및 수정 등을 평가하며 일반 능력과 수학 능력의 유지도 함께 다뤘다.
DeepSeek-Coder
DeepSeek-Coder는 프로젝트 수준의 코드 자료로 학습한 코드 언어 모델 계열이다. 코드를 이어 생성하는 작업과 앞뒤 문맥 사이의 빈 부분을 채우는 작업을 함께 다루도록 제안됐다.
Code Llama
Code Llama는 Llama 2를 기반으로 코드 과제를 위해 만든 언어 모델 계열이다. 기본 모델과 Python 특화 모델, 지시 수행 모델을 나누어 여러 프로그래밍 작업을 지원하도록 제안됐다.
StarCoder
StarCoder는 BigCode 공동 연구에서 제안한 코드 언어 모델이다. 여러 언어로 학습한 StarCoderBase를 Python 자료로 추가 학습했으며, 코드의 빈 부분을 주변 문맥에 맞게 채우는 기능도 갖췄다.
CodeGen
CodeGen은 자연어와 프로그래밍 언어 자료로 학습한 코드 생성 모델 계열이다. 한 번의 긴 지시뿐 아니라 문제를 여러 하위 단계의 프롬프트로 나누어 프로그램을 만드는 방식도 연구했다.
UniXcoder
UniXcoder는 코드와 구문 구조 및 주석을 함께 이용해 코드 표현을 학습하는 사전 학습 모델이다. 어텐션 마스크와 접두 어댑터로 동작을 조절하며 코드 이해와 생성 과제를 함께 지원하도록 제안됐다.
CodeT5
CodeT5는 개발자가 붙인 식별자의 의미를 활용하는 코드 이해·생성 모델이다. 인코더와 디코더를 함께 사용하는 Transformer 구조로 여러 과제를 지원하며 코드와 자연어의 연결도 학습한다.
PLBART
PLBART는 코드와 자연어의 이해 및 생성을 함께 다루는 순차 변환 모델이다. Java와 Python 함수 및 관련 자연어 자료를 잡음 제거 방식으로 사전 학습해 여러 코드 과제에 활용한다.
CodeBERT
CodeBERT는 자연어와 프로그래밍 언어를 함께 다루는 사전 학습 모델이다. 두 종류의 표현을 연결해 자연어 코드 검색이나 코드 설명 생성에 활용할 범용 표현을 학습한다.
GraphCodeBERT
GraphCodeBERT는 코드의 데이터 흐름을 사전 학습에 이용하는 모델이다. 토큰 순서뿐 아니라 변수의 값이 어디서 오는지 나타내는 관계를 반영해 코드의 의미적 구조를 학습한다.
CodeSearchNet
CodeSearchNet은 자연어 질문에 맞는 코드를 찾는 의미 기반 코드 검색을 위한 자료와 평가다. 일반적인 설명과 기술적이고 축약된 코드 표현 사이의 차이를 연결하는 능력을 살핀다.
CodeXGLUE
CodeXGLUE는 코드 이해와 생성을 여러 과제로 평가하는 벤치마크 모음이다. 코드끼리 비교하거나 바꾸는 작업과 자연어·코드 사이의 검색 및 생성 등을 한 평가 체계에서 다룬다.
LiveCodeBench
LiveCodeBench는 새 코딩 대회 문제를 시간에 따라 모으며 언어 모델의 코드 능력을 평가하는 벤치마크다. 코드 생성뿐 아니라 오류 수정과 실행, 시험 출력 예측을 함께 살피고 학습 자료의 평가 오염을 줄이려는 방향을 제안했다.
SWE-bench
SWE-bench는 실제 저장소의 이슈를 코드 수정으로 해결하는 능력을 평가하는 소프트웨어 공학 벤치마크다. 짧은 함수를 새로 만드는 것보다 기존 코드의 여러 부분을 이해하고 함께 고치는 과제를 다룬다.
APPS 코드 평가
APPS는 자연어로 설명된 문제를 Python 코드로 구현하는 능력을 평가하는 벤치마크다. 간단한 한 줄 풀이부터 복잡한 알고리즘 문제까지 포함하며 생성 코드를 시험 사례로 확인한다.
DS-1000
DS-1000은 데이터 과학 작업에 필요한 Python 코드를 생성하는 능력을 평가하는 자료다. 실제 사용 사례를 바탕으로 기능적 정확성과 코드의 사용 조건을 함께 검사하도록 구성했다.
HumanEval
HumanEval은 설명에서 생성한 프로그램이 기능적으로 올바른지 평가하는 코드 생성 벤치마크다. 코드가 그럴듯하게 보이는지보다 실제로 요구한 동작을 수행하는지를 살핀다.
MBPP
MBPP는 자연어 설명에서 짧은 Python 프로그램을 만드는 능력을 평가하는 자료다. 초급 프로그래머가 풀 수 있도록 설계한 문제를 통해 코드 합성과 모델 학습 방식의 차이를 비교한다.
GSM8K
GSM8K는 여러 단계의 계산과 추론이 필요한 초등 수준 수학 서술형 문제 자료다. 쉬운 개념을 사용해도 풀이를 끝까지 올바르게 이어 가기 어려운 언어 모델의 특성을 평가하기 위해 제안됐다.
MATH 수학 평가
MATH는 수학 경시 문제로 기계 학습 모델의 문제 해결 능력을 평가하는 자료다. 각 문제에 단계별 풀이를 제공해 정답뿐 아니라 풀이의 전개와 설명을 학습하는 연구를 지원한다.
MMLU
MMLU는 여러 학문과 전문 분야의 과제로 텍스트 모델의 지식과 문제 해결 능력을 평가하는 벤치마크다. 초기 구성은 57개 과제로, 분야별 강점과 약점을 함께 비교하도록 제안됐다.
TruthfulQA
TruthfulQA는 언어 모델이 널리 퍼진 오해를 따라 잘못된 답을 만드는지 평가하는 벤치마크다. 사람의 글을 자연스럽게 모방하는 능력과 질문에 사실에 맞게 답하는 능력을 구분해 살핀다.
BIG-bench
BIG-bench는 다양한 분야의 과제로 언어 모델의 능력과 규모에 따른 변화를 평가하는 벤치마크다. 단일 과제의 성능을 넘어 지식과 추론 등 여러 능력이 어떤 양상으로 달라지는지 살핀다.
Dynabench
Dynabench는 사람과 모델의 상호작용으로 자료를 만들고 모델을 평가하는 동적 벤치마크 플랫폼이다. 모델이 틀리지만 다른 사람은 올바르게 판단할 수 있는 사례를 찾아 평가를 발전시키는 방식을 제안했다.
CheckList 언어 모델 검사
CheckList는 자연어 처리 모델을 언어 능력과 시험 유형의 조합으로 검사하는 방법이다. 보류한 시험 자료의 정확도만으로 놓칠 수 있는 동작의 실패를 찾아내도록 행동 검사 원리를 적용했다.
대조 집합 평가
대조 집합 평가는 기존 시험 예제를 작지만 의미 있게 바꾸어 모델의 판단 경계를 살피는 방법이다. 원래 시험에서 높은 점수를 내는 규칙이 의미가 달라진 근처 사례에서도 올바르게 작동하는지 확인한다.
ANLI
ANLI는 사람과 모델이 반복적으로 상호작용하며 어려운 사례를 모은 자연어 추론 자료다. 고정된 시험이 빠르게 포화되는 문제에 대응해 모델의 약점을 다음 자료 수집에 반영하는 방식을 제안했다.
HANS 추론 진단
HANS는 자연어 추론 모델이 문장의 구조를 이해하는 대신 잘못된 지름길에 의존하는지 살피는 진단 자료다. 흔한 문장에서는 통하지만 다른 구조에서는 실패하는 구문적 휴리스틱을 통제된 예제로 검사한다.
ART 가설 추론 평가
ART는 관찰된 상황을 가장 그럴듯하게 설명하는 가설을 고르거나 생성하는 상식 추론 자료다. 이미 주어진 문장에서 필연적으로 따라오는 결론을 찾는 문제와 달리, 가능한 설명의 타당성을 비교한다.
WinoGrande
WinoGrande는 Winograd Schema Challenge의 구성을 바탕으로 규모와 난도를 넓힌 상식 추론 자료다. 단어나 표현의 우연한 연관으로 정답을 고르는 편향을 줄여 문맥에 따른 이해를 평가하려고 했다.
HellaSwag
HellaSwag는 사건 설명 뒤에 자연스럽게 이어질 내용을 고르는 상식 추론 평가 자료다. 사람이 보기에는 어색하지만 모델이 그럴듯하다고 판단하는 오답을 선별해 문장의 유창함과 상황 이해를 구분하려고 했다.
PIQA
PIQA는 물리적 세계의 일상 상식을 자연어로 묻는 평가 자료다. 글에 자주 기록되지 않는 물건의 성질과 사용에 관한 지식을 언어 모델이 얼마나 이해하는지 살핀다.
SocialIQA
SocialIQA는 일상적인 사회 상황에 관한 상식 추론을 평가하는 객관식 자료다. 사람의 감정과 사회적 상호작용을 이해하는 능력을 살피며, 틀린 답의 문체만으로 정답을 고르는 편향을 줄이도록 설계했다.
CommonsenseQA
CommonsenseQA는 주어진 지문만으로 답하기보다 배경 지식을 활용해야 하는 상식 질의응답 자료다. 서로 관련된 여러 개념을 구별하는 객관식 질문으로 단순 연상 이상의 이해를 평가한다.
ARC 과학 추론 평가
ARC는 학교 과학 시험의 질문으로 지식과 추론을 평가하는 AI2 Reasoning Challenge다. 문제 집합과 과학 문장 말뭉치를 함께 제공하며, 단순 검색이나 단어 동시 출현으로 풀기 어려운 문제를 별도로 구성했다.
OpenBookQA
OpenBookQA는 기본 과학 사실을 새로운 상황에 적용하는 능력을 살피는 질의응답 자료다. 제공된 사실만 읽는 데 그치지 않고 외부의 일반 지식과 결합해 답을 찾아야 한다.
QASC
QASC는 큰 말뭉치에서 사실을 찾고 여러 문장의 지식을 결합해 객관식 질문에 답하는 평가 자료다. 필요한 사실과 그 결합 방식을 주석으로 제공해 검색과 다중 단계 추론을 함께 연구한다.
RACE 독해 평가
RACE는 영어 시험 문제를 모아 독해 시스템의 이해와 추론을 평가하는 자료다. 중국 중고등학생을 위한 영어 시험에서 수집한 지문과 질문으로 다양한 주제의 독해 능력을 살핀다.
CoQA
CoQA는 이어지는 대화 속 질문에 답하는 시스템을 위한 질의응답 자료다. 하나의 질문을 따로 읽는 대신 앞선 질문과 답의 맥락을 이해하며, 자유 형식의 답과 지문 속 근거를 함께 다룬다.
QuAC
QuAC는 대화의 흐름 속에서 정보를 알아가는 질의응답 평가 자료다. 내용을 보지 못하는 질문자와 글을 읽고 답하는 응답자가 대화하며, 앞선 발화를 알아야 이해할 수 있는 질문도 포함한다.
DROP 독해 평가
DROP는 글에서 관련 정보를 찾은 뒤 덧셈이나 개수 세기 같은 이산 연산을 수행해야 하는 영어 독해 평가다. 답이 있는 구간을 그대로 고르는 능력을 넘어 문단의 내용을 계산과 연결하는지를 살핀다.
TriviaQA
TriviaQA는 퀴즈 질문과 별도로 수집한 근거 문서를 연결한 독해 자료다. 질문과 답의 표현이 근거 문장과 크게 다를 수 있어 여러 문장을 이해하고 필요한 정보를 조합하는 능력을 평가한다.
BoolQ
BoolQ는 자연스럽게 발생한 예·아니요 질문을 다루는 독해 자료다. 답의 형식은 짧지만 질문과 글의 관계를 이해하고 복잡한 정보를 추론해야 하는 경우가 있어 단순한 문장 일치로 풀기 어렵다.
HotpotQA
HotpotQA는 여러 문서의 정보를 연결해 답을 찾는 다중 단계 질의응답 자료다. 답뿐 아니라 추론에 필요한 근거 문장을 제공해, 어떤 정보를 바탕으로 답했는지도 평가하도록 구성했다.
Natural Questions
Natural Questions는 실제 검색 질문을 이용해 질의응답 시스템을 학습하고 평가하는 자료다. 관련 페이지에서 긴 답과 짧은 답을 표시하며, 페이지에 답이 없을 때의 처리도 포함한다.
SQuAD
SQuAD는 주어진 글을 읽고 질문의 답에 해당하는 텍스트 구간을 찾는 독해 평가 자료다. 초기 자료에는 위키백과 글을 바탕으로 사람이 만든 10만 개 이상의 질문이 포함됐다.
PAWS
PAWS는 같은 단어가 많이 등장해도 두 문장의 뜻이 같은 것은 아니라는 문제를 다루는 의역 판별 자료다. 단어 겹침이 큰 문장 쌍을 구성해 모델이 문맥과 구조를 구분하는지 평가한다.
SNLI
SNLI는 문장 사이의 의미 관계를 학습하고 평가하기 위해 만든 자연어 추론 말뭉치다. 사람이 작성한 약 57만 개 문장 쌍을 제공해 대규모 자료를 활용하는 문장 의미 모델 연구를 뒷받침했다.
MultiNLI
MultiNLI는 다양한 영어 문장으로 자연어 추론 모델을 개발하고 평가하기 위한 말뭉치다. 글과 말에서 얻은 열 가지 장르를 포함해, 익숙한 장르에서 학습한 문장 이해가 다른 장르로 이어지는지도 비교한다.
XNLI
XNLI는 여러 언어에서 문장 이해의 전이를 비교하는 평가 자료다. MultiNLI의 개발 및 시험 집합을 15개 언어로 확장해, 한 언어로 학습한 모델이 다른 언어에서도 문장 사이의 관계를 이해하는지 살핀다.
XTREME
XTREME는 다국어 표현의 언어 간 일반화를 여러 과제에서 평가하는 벤치마크다. 초기 구성은 40개 언어와 아홉 작업을 포함하며 영어의 높은 성능이 다른 언어로 얼마나 전이되는지 살핀다.
GLUE
GLUE는 여러 자연어 이해 작업에서 모델의 성능을 평가하고 분석하는 벤치마크다. 특정 작업에만 맞춘 능력을 넘어 과제 사이의 지식 공유와 범용적인 언어 이해를 살핀다.
SentEval
SentEval은 범용 문장 표현을 여러 자연어 작업에서 평가하는 도구 모음이다. 분류와 자연어 추론, 문장 유사도를 같은 평가 인터페이스에 연결해 인코더의 품질을 비교한다.
InferSent
InferSent는 자연어 추론의 감독 신호로 영어 문장의 의미 표현을 학습하는 방법이다. 문장 사이의 관계를 배운 인코더를 여러 자연어 처리 작업의 특징으로 전이한다.
Universal Sentence Encoder
Universal Sentence Encoder는 문장을 벡터로 인코딩해 다른 자연어 작업으로 전이하는 모델이다. 정확도와 계산 자원의 균형이 다른 두 변형을 제안하고 적은 감독 자료에서의 전이 효과를 평가했다.
LaBSE
LaBSE는 여러 언어의 문장을 공통 공간에서 비교하도록 학습한 BERT 기반 문장 임베딩 모델이다. 언어 모델링과 번역 순위 학습을 결합해 같은 의미의 문장을 언어 경계 너머에서 찾는다.
LASER 문장 표현
LASER는 여러 언어의 문장을 공통 표현으로 바꾸는 다국어 임베딩 연구와 도구다. 초기 연구는 공유 어휘와 하나의 양방향 LSTM 인코더를 사용해 여러 언어의 문장을 함께 학습했다.
Sentence-BERT
Sentence-BERT는 문장을 독립적인 의미 벡터로 만들어 코사인 유사도로 비교하도록 학습한 BERT 변형이다. 쌍둥이 구조와 삼중항 구조를 사용해 문장 검색과 군집화에 적합한 표현을 구성한다.
SimCSE
SimCSE는 드롭아웃이나 자연어 추론의 문장 쌍을 이용해 문장 임베딩을 대조 학습하는 방법이다. 비지도 방식과 지도 방식을 구분해 제안하고 문장 의미 유사도에서 표현을 평가한다.
C-Pack 임베딩 자원
C-Pack은 중국어 범용 임베딩의 학습과 평가를 위한 자원 묶음이다. 평가 벤치마크와 학습 자료, 여러 크기의 임베딩 모델을 연결해 제공한다.
INSTRUCTOR 임베딩
INSTRUCTOR는 텍스트와 함께 작업·영역을 설명하는 지시문을 받아 임베딩을 만드는 모델이다. 같은 모델에서 용도에 맞는 표현을 만들도록 지시문이 붙은 여러 작업을 대조 학습한다.
E5 텍스트 임베딩
E5는 약한 감독을 가진 텍스트 쌍으로 대조 사전 학습하는 범용 임베딩 모델 계열이다. 하나의 텍스트 벡터를 사용하는 검색과 군집화, 분류 등 여러 작업으로의 전이를 목표로 한다.
GTE 텍스트 임베딩
GTE는 여러 출처의 텍스트 자료로 다단계 대조 학습을 수행하는 범용 임베딩 모델이다. 비지도 사전 학습과 지도 미세 조정을 연결하고 자연어와 코드 관련 작업에서 표현을 평가한다.
CITADEL 다중 벡터 검색
CITADEL은 토큰 벡터를 어휘 키로 동적으로 보내 필요한 상호작용만 수행하는 다중 벡터 검색 방법이다. 같은 키로 배정된 질의·문서 토큰만 비교해 계산 부담을 줄이려 한다.
TAS-Balanced
TAS-Balanced는 질의의 주제와 점수 차이의 균형을 고려해 밀집 검색 모델의 학습 배치를 만드는 방법이다. 미리 군집화한 질의에서 표본을 고르고 두 종류의 교사 신호로 표현을 학습한다.
DPR
DPR은 질문과 단락을 각각 밀집 벡터로 표현해 답변의 근거 후보를 찾는 검색 방법이다. 두 인코더의 표현을 질문·단락 예시로 학습해 개방형 질의응답의 검색 단계에 사용한다.
RocketQA
RocketQA는 밀집 단락 검색의 이중 인코더 학습을 개선하는 방법이다. 배치 사이의 음성 예와 잡음을 줄인 어려운 음성 예, 자료 증강을 결합해 검색 표현을 학습한다.
ANCE 밀집 검색 학습
ANCE는 말뭉치의 근사 최근접 이웃 색인에서 음성 예를 골라 밀집 검색 모델을 학습하는 방법이다. 학습에 쓰는 비관련 문서가 실제 검색 중 만나는 어려운 후보를 더 잘 반영하도록 한다.
SPLADE
SPLADE는 질의와 문서의 희소 어휘 표현을 학습하는 초기 검색 모델이다. 명시적인 희소성 정규화와 용어 가중치의 로그 포화 효과로 검색 효과와 색인 효율의 균형을 조절한다.
Contriever
Contriever는 정답 관련성 표지 없이 대조 학습으로 밀집 검색 표현을 사전 학습하는 모델이다. 새로운 검색 영역으로의 전이와 다국어·교차 언어 검색을 함께 평가했다.
ColBERT
ColBERT는 질의와 문서를 독립적으로 인코딩한 뒤 세밀한 유사도를 계산하는 후기 상호작용 검색 모델이다. 문서 표현을 미리 계산하면서도 토큰 수준의 비교 정보를 유지하려는 구조다.
BEIR
BEIR은 서로 다른 영역과 검색 작업에서 정보 검색 모델의 제로샷 일반화를 평가하는 벤치마크다. 어휘와 희소·밀집 표현, 후기 상호작용과 재순위화 등 여러 구조를 같은 자료 모음에서 비교한다.
MTEB
MTEB는 텍스트 임베딩을 여러 작업과 언어에서 평가하는 벤치마크다. 문장 유사도 한 작업의 결과만으로 군집화와 재순위화 등 다른 활용의 성능을 판단하는 한계를 다룬다.
MIRACL 검색 평가
MIRACL은 열여덟 언어에서 질의와 같은 언어의 문서를 찾는 정보 검색 평가 자료다. 언어 자원의 양과 언어 구조가 다른 조건을 포함하고 원어민의 관련성 판단으로 검색 모델을 비교한다.