문서 둘러보기
MuSiQue
MuSiQue는 서로 의존하는 단일 단계 질문을 결합해 만든 다단계 질의응답 데이터셋이다. 여러 문서가 주어져도 실제로는 한 단계만으로 풀리는 지름길을 줄이는 데 초점을 맞췄다.
ALCE
ALCE는 근거를 검색하고 인용이 포함된 답변을 생성하는 시스템을 평가하는 벤치마크다. 유창성과 정확성 및 인용 품질을 나눠 측정해 응답을 확인할 수 있는지 살핀다.
KILT
KILT는 여러 지식 집약적 언어 과제를 같은 지식 자료에 근거해 평가하는 벤치마크다. 과제마다 별도의 자료 집합을 구축하는 부담을 줄이고 정보 검색과 최종 과제 성능을 함께 비교한다.
RAGBench
RAGBench는 검색 증강 생성 시스템의 품질을 설명 가능한 주석으로 평가하는 벤치마크다. 약 10만 사례와 TRACe 평가 틀을 제시해 검색 자료와 응답 생성의 문제를 구분한다.
RGB 검색 증강 벤치마크
RGB는 검색 증강 생성에 필요한 네 가지 능력을 나눠 평가하는 영어와 중국어 벤치마크다. 검색 자료의 잡음과 잘못된 정보 및 여러 정보의 결합이 언어 모델에 미치는 영향을 분석한다.
ARES 검색 증강 평가
ARES는 검색 문맥의 관련성과 답변의 충실성 및 관련성을 평가하는 자동 검색 증강 평가 시스템이다. 합성 자료로 작은 심사 모델을 학습하고 일부 사람 주석을 이용해 평가의 예측 오차를 보완한다.
Ragas
Ragas는 검색 증강 생성 시스템의 여러 구성 요소를 정답 주석 없이 평가하는 프레임워크다. 검색된 문맥의 적합성과 생성 응답의 충실성 및 응답 자체의 품질을 나눠 측정하는 접근을 제시했다.
GraphRAG
GraphRAG는 문서에서 개체 지식 그래프를 만들고 관련 개체 집단의 요약을 활용하는 검색 증강 접근이다. 개별 사실 찾기보다 자료 전체의 주제와 관계를 종합하는 질문을 다루도록 제안됐다.
RAPTOR 검색
RAPTOR는 문서의 여러 부분을 반복적으로 묶고 요약해 트리 구조를 만드는 검색 방법이다. 짧은 원문 조각부터 상위 수준의 요약까지 함께 검색해 긴 문서의 넓은 문맥을 활용한다.
IRCoT
IRCoT는 여러 단계의 질의응답에서 검색과 자연어 추론 단계를 번갈아 수행하는 방법이다. 앞서 얻은 정보로 다음 검색을 이끌고 새 검색 결과로 이후 추론을 보완한다.
Adaptive-RAG
Adaptive-RAG는 질문의 복잡도에 따라 검색 없이 답하거나 한 번 또는 여러 번 검색하는 전략을 선택하는 질의응답 프레임워크다. 작은 언어 모델 분류기로 입력에 적절한 처리 경로를 결정한다.
FLARE 검색 증강
FLARE는 앞으로 생성할 문장을 예상하고 필요한 정보를 추가 검색하는 능동 검색 증강 방법이다. 긴 글을 쓰는 과정에서 언제 무엇을 검색할지 결정하고 신뢰도가 낮은 내용을 다시 생성한다.
CRAG 검색 보정
CRAG는 검색된 자료의 품질을 평가하고 필요에 따라 웹 검색과 정보 정제를 수행하는 검색 증강 생성 방법이다. 검색 결과가 질문에 맞지 않을 때 생성 과정이 흔들리는 문제를 줄이려는 접근이다.
Rewrite-Retrieve-Read
Rewrite-Retrieve-Read는 입력을 검색 질의로 다시 쓴 뒤 정보를 검색하고 언어 모델이 읽는 순서의 질의응답 프레임워크다. 검색기나 독해 모델 대신 재작성기를 조정하는 접근을 제시했다.
Self-RAG
Self-RAG는 필요한 시점에 정보를 검색하고 검색 결과와 자신의 생성 내용을 평가하도록 학습하는 검색 증강 생성 프레임워크다. 특수한 성찰 토큰으로 검색과 생성 과정의 판단을 표현한다.
HyDE 검색
HyDE는 언어 모델이 만든 가상 문서를 임베딩한 뒤 실제 문서 집합에서 유사한 자료를 찾는 검색 방법이다. 관련성 레이블이 없는 제로샷 밀집 검색을 목표로 제안됐다.
Query2doc
Query2doc은 언어 모델로 생성한 유사 문서를 원래 질의에 더하는 검색 확장 방법이다. 질문에 관련된 표현을 보강해 희소 검색과 밀집 검색 모두에 활용하는 접근을 제시했다.
ConvGQR
ConvGQR은 질문 재작성과 잠재 답변 생성을 함께 이용하는 대화형 검색 프레임워크다. 사람이 다시 쓴 질문을 그대로 모방하는 것을 넘어 검색에 유용한 질의를 만드는 방법을 연구했다.
정보를 보강한 질의 재작성
정보를 보강한 질의 재작성은 대화의 모호함을 해소하는 데 더해 검색에 유용한 문맥을 질문에 담는 접근이다. 2023년 연구는 언어 모델의 재작성과 편집 및 작은 모델로의 증류를 비교했다.
CONQRR
CONQRR은 대화 문맥에 의존하는 질문을 독립된 검색 질문으로 다시 쓰는 모델이다. 강화 학습의 보상을 검색 성능에 연결해 기존 검색기를 대화형 질의응답에 활용하도록 한다.
ConvDR
ConvDR은 여러 턴의 대화 문맥을 질의 임베딩으로 표현하는 밀집 검색 모델이다. 독립형 검색 모델을 교사로 삼아 적은 학습 예시에서도 대화형 질의 인코더를 학습하는 방법을 제시했다.
QReCC
QReCC는 대화 문맥을 반영한 질문 재작성과 문단 검색 및 독해를 함께 연구하는 데이터셋이다. 한 대화의 답이 여러 웹 문서에 흩어져 있는 개방형 질의응답을 다룬다.
TREC CAsT 2019
TREC CAsT 2019는 대화형 정보 탐색 시스템을 비교하기 위해 마련한 검색 평가 트랙이다. 여러 턴의 질문을 이해하고 큰 문단 집합에서 관련 정보를 순위화하는 능력을 평가했다.
DoQA
DoQA는 분야별 FAQ에 담긴 정보를 대화형 질문과 답변으로 찾는 능력을 연구하는 데이터셋이다. 하나의 주어진 문서에서 답하는 조건과 여러 FAQ 문서 중 답을 찾는 검색 조건을 함께 다룬다.
ShARC
ShARC는 자연어로 작성된 규칙을 읽고 사용자의 상황에 적용하는 대화형 기계 독해 데이터셋이다. 정보가 부족할 때 바로 답하지 않고 필요한 확인 질문을 하는 능력도 평가한다.
doc2dial
doc2dial은 관련 문서를 근거로 정보를 찾는 목표 지향 대화를 수집한 데이터셋이다. 문서의 절과 담화 단위 사이의 관계에서 대화 흐름을 구성한 뒤 사람이 실제 발화를 작성하도록 했다.
Topical-Chat
Topical-Chat은 여러 분야의 지식을 활용하며 사람끼리 나눈 개방형 대화를 수집한 데이터셋이다. 대화자에게 고정된 역할을 부여하지 않고 주제를 깊게 다루거나 다른 주제로 전환하는 대화를 연구한다.
DynaEval
DynaEval은 개별 턴과 대화 전체의 품질을 함께 평가하는 자동 평가 프레임워크다. 발화를 그래프의 노드로 표현하고 발화 사이의 의존 관계를 학습해 여러 턴의 상호작용을 반영한다.
GRADE 대화 일관성 평가
GRADE는 발화의 문맥 표현과 주제 수준의 그래프를 함께 사용해 대화의 일관성을 평가하는 지표다. 표면적인 문장 유사성뿐 아니라 대화 속 주제가 어떻게 이어지는지 분석한다.
MAUDE 대화 평가
MAUDE는 참조 응답 없이 온라인 대화의 응답 적합성을 측정하는 자동 평가 방식이다. 사전 학습 언어 모델의 발화 표현과 시간에 따른 대화 전개를 함께 활용한다.
RUBER
RUBER는 참조 응답과 이전 사용자 발화를 함께 고려해 개방형 대화 응답을 평가하는 지표다. 사람이 만족도 점수를 붙인 자료 없이 학습하며 참조 기반 평가와 비참조 평가를 결합한다.
USL-H
USL-H는 대화 품질을 이해 가능성과 타당성 및 과제에 필요한 특성으로 나눠 결합하는 평가 지표다. 응용 목적에 따라 중요하게 볼 품질과 세부 지표를 바꿀 수 있도록 설계됐다.
USR 대화 평가
USR은 정답 응답을 필요로 하지 않는 대화 생성 평가 지표다. 비지도 학습 모델로 대화의 여러 품질을 측정하며, 사람이 판단한 응답 품질과의 관계를 분석한다.
ACUTE-EVAL
ACUTE-EVAL은 사람이 두 개의 전체 대화를 비교해 대화 모델을 평가하는 절차다. 각 대화에서 평가할 화자를 하나로 한정하고 질문 표현을 조정해 평가자 사이의 판단을 더 안정적으로 얻도록 설계됐다.
FED 대화 평가
FED는 DialoGPT를 활용해 정답 응답 없이 대화의 세부 품질을 평가하는 자동 지표다. 개별 턴과 대화 전체를 나눠 평가하며, 사람의 주석을 포함한 평가 데이터셋도 함께 제시했다.
BlenderBot
BlenderBot은 지식과 공감 및 일관된 인물 설정을 함께 활용하는 개방형 대화 모델이다. 초기 연구는 모델 규모뿐 아니라 학습 자료와 응답 생성 전략이 대화 경험에 미치는 영향을 분석했다.
LaMDA
LaMDA는 대화 응용에 특화한 트랜스포머 언어 모델 계열이다. 대화 품질과 함께 응답의 안전성 및 외부 정보에 근거하는 능력을 개선하는 학습과 평가 방법을 연구했다.
DialoGPT
DialoGPT는 대화형 응답 생성을 위해 대규모 댓글 대화로 사전 학습한 트랜스포머 모델이다. 문맥에 맞고 내용이 있는 응답을 생성하는 연구를 위해 학습된 모델과 학습 절차를 공개했다.
Meena 대화 모델
Meena는 여러 턴의 개방형 대화를 목표로 학습한 26억 매개변수 신경망 모델이다. 대화의 타당성과 구체성을 사람에게 평가하게 하고 언어 모델의 예측 성능과의 관계를 분석했다.
BlendedSkillTalk
BlendedSkillTalk는 흥미로운 대화와 지식 활용 및 공감 같은 능력을 하나의 대화 흐름에서 함께 발휘하는지 평가하는 데이터셋이다. 개별 능력의 학습을 결합하는 모델과 학습 방식도 비교했다.
EmpatheticDialogues
EmpatheticDialogues는 감정적인 상황을 바탕으로 한 대화를 모아 공감하는 응답을 연구하는 데이터셋이다. 대화 상대의 감정을 알아차리고 그에 맞춰 반응하는 능력을 평가한다.
PersonaChat
PersonaChat은 주어진 인물 설정을 바탕으로 대화하는 능력을 연구하는 데이터셋이다. 화자마다 프로필을 제공해 일관된 성격과 관심사를 유지하며 상대를 알아 가는 대화를 수집했다.
Wizard of Wikipedia
Wizard of Wikipedia는 검색한 지식을 바탕으로 열린 주제의 대화를 수행하는 능력을 연구한 데이터셋과 모델 연구다. 지식을 검색하고 읽은 뒤 그 내용을 조건으로 자연스러운 응답을 생성하는 과정을 다룬다.
DailyDialog
DailyDialog는 일상 주제의 여러 턴 대화에 의도와 감정 정보를 사람이 주석한 데이터셋이다. 두 사람의 대화 흐름과 발화의 기능을 함께 다뤄 응답 검색과 생성 모델을 평가한다.
Ubuntu 대화 코퍼스
Ubuntu 대화 코퍼스는 비정형적인 여러 턴 대화를 대규모로 제공하는 대화 시스템 연구 자료다. 문맥을 보고 적절한 다음 응답을 선택하는 문제를 신경 언어 모델로 평가했다.
Frames 대화 데이터셋
Frames는 여러 선택지를 비교하고 이전에 논의한 조건을 다시 참조하는 대화를 연구하기 위한 데이터셋이다. 하나의 최신 상태만 유지하는 대신 여러 의미 프레임을 동시에 추적하는 문제를 제시했다.
대화의 키값 검색 네트워크
대화의 키값 검색 네트워크는 지식 기반의 정보를 활용해 과업 중심 대화를 이어 가는 신경망 방식이다. 별도의 명시적인 상태 추적기를 두지 않고 검색과 대화 생성을 함께 학습하는 접근을 제시했다.
KddRES
KddRES는 음식점에 관한 광둥어 과업 중심 대화를 수집한 데이터셋이다. 세부적인 요구를 계층형 슬롯으로 표현해 개별 음식점에 맞춘 대화 시스템을 연구하도록 구성됐다.
RiSAWOZ
RiSAWOZ는 생략과 공지시 같은 담화 현상까지 주석한 중국어 과업 중심 대화 데이터셋이다. 사용자의 요구와 시스템의 행동을 기록하고, 앞선 발화를 이해해야 풀 수 있는 대화 문제를 함께 다룬다.
CrossWOZ
CrossWOZ는 여러 영역의 요구가 서로 연결되는 중국어 과업 중심 대화를 수집한 데이터셋이다. 사용자와 시스템 양쪽의 상태와 행동 주석을 제공해 대화 상태 추적과 정책 학습 등을 연구한다.
Taskmaster-1
Taskmaster-1은 실제 과업을 수행하는 대화 시스템 연구를 위해 음성과 글로 수집한 대화 데이터셋이다. 두 사람이 대화하는 방식과 한 사람이 대화 전체를 작성하는 방식을 함께 사용했다.
MultiWOZ
MultiWOZ는 여러 영역과 주제에 걸친 사람 사이의 대화를 수집한 과업 중심 대화 데이터셋이다. 대화의 상태와 행동을 주석해 상태 추적과 응답 생성 등을 평가한다.
스키마 유도 대화 데이터셋
스키마 유도 대화 데이터셋은 서비스의 의도와 슬롯을 자연어 설명으로 제공하며 대화 모델의 일반화를 평가하는 자료다. 고정된 영역별 구조를 넘어 새 서비스를 다루는 문제를 연구했다.
MASSIVE
MASSIVE는 51개 언어의 가상 비서 발화로 의도 분류와 슬롯 채우기 등을 평가하는 데이터셋이다. 전문 번역가가 영어 자료를 현지화해 병렬 주석 자료를 구성했다.
MTOP
MTOP는 다언어 과업 중심 대화의 의미 구조를 분석하는 평가 데이터셋이다. 여섯 언어와 열한 영역에서 주석한 약 10만 개 발화로 언어 간 전이를 비교했다.
토큰화의 언어별 길이 격차
토큰화의 언어별 길이 격차는 같은 내용을 담은 텍스트가 언어에 따라 서로 다른 수의 토큰이나 문자 및 바이트로 표현되는 문제다. 문맥 한도와 처리 시간 및 이용 비용에 영향을 줄 수 있다.
BPE-Dropout
BPE-Dropout은 BPE의 분할 절차에 확률적 변화를 넣어 학습 중 여러 부분 단어 분할을 만드는 정규화 방법이다. 기존 BPE 틀과 호환되면서 분할의 다양성을 활용하도록 제안됐다.
SentencePiece
SentencePiece는 원시 문장에서 부분 단어 모델을 학습하는 토큰화와 역토큰화 도구다. 미리 단어로 나눈 입력을 필수로 요구하지 않는 언어 독립적인 처리를 목표로 제안됐다.
부분 단어 정규화
부분 단어 정규화는 학습 중 여러 부분 단어 분할을 확률적으로 골라 모델에 사용하는 방법이다. 같은 어휘를 쓰더라도 문장을 여러 방식으로 나눌 수 있다는 모호함을 정규화에 활용한다.
한국어 토큰화 비교
한국어 토큰화 비교는 문장을 어떤 단위로 나누는지가 자연어 처리 성능에 미치는 영향을 살피는 연구 주제다. 형태소 분할과 BPE를 결합하는 방법과 과제별 차이가 실험으로 분석됐다.
HAE-RAE Bench
HAE-RAE Bench는 한국어 고유의 지식과 문화적 맥락을 회상하는 언어 모델의 능력을 평가하는 데이터셋이다. 어휘와 역사 및 일반 지식과 독해의 네 영역에서 여섯 과제를 구성했다.
KMMLU
KMMLU는 한국어 시험에서 수집한 전문가 수준의 객관식 질문으로 언어 모델을 평가하는 벤치마크다. 인문학부터 과학과 기술 분야까지 45개 주제를 다룬다.
KLUE
KLUE는 한국어 자연어 이해를 여덟 과제로 평가하는 벤치마크다. 과제별 자료와 평가 지표 및 미세 조정 방법을 함께 제공해 모델을 비교하고 재현하도록 구성됐다.
KoBEST
KoBEST는 한국어의 언어 지식과 추론 능력을 평가하는 다섯 과제의 벤치마크다. 전문 한국어 언어학자가 과제를 설계하고 사람이 자료를 주석하고 검토했다.
AfriSenti
AfriSenti는 아프리카의 14개 언어에서 트위터 글의 감성을 분석하는 평가 데이터셋이다. 원어민이 주석한 11만 개 이상의 게시물을 바탕으로 구성됐다.
SIB-200
SIB-200은 200개가 넘는 언어와 방언에서 주제 분류를 평가하는 데이터셋이다. 많은 저자원 언어에서도 자연어 이해 모델을 비교할 수 있도록 평가 범위를 넓혔다.
MasakhaNER
MasakhaNER는 아프리카의 열 개 언어를 위한 개체명 인식 데이터셋과 모델 연구다. 언어 사용자와 자료 구축자 및 연구자가 함께 지역 자료를 정리하고 학습과 전이를 평가했다.
Belebele
Belebele는 122개 언어 변이형에서 같은 내용을 비교할 수 있도록 정렬한 객관식 독해 데이터셋이다. 짧은 지문을 읽고 네 선택지 중 답을 고르는 과제로 구성됐다.
MKQA
MKQA는 26개 언어에 걸쳐 정렬한 개방형 질의응답 평가 자료다. 특정 언어의 근거 문단에 묶이지 않는 정답 표현으로 언어 사이의 결과를 비교하도록 구성됐다.
MLQA
MLQA는 일곱 언어의 추출형 질의응답을 여러 방향으로 정렬한 평가 데이터셋이다. 대상 언어의 별도 학습 자료 없이 질의응답 능력을 전이하는 문제를 다룬다.
TyDi QA
TyDi QA는 언어 유형이 다양한 11개 언어에서 정보를 찾는 질의응답 능력을 평가하는 데이터셋이다. 번역을 거치지 않고 각 언어에서 직접 질문과 답을 수집했다.
CANINE
CANINE은 명시적인 토큰화와 고정 어휘 없이 문자 시퀀스를 직접 읽는 언어 표현 인코더다. 긴 문자 입력을 다운샘플링한 뒤 깊은 트랜스포머로 문맥을 인코딩한다.
Charformer
Charformer는 바이트 수준 입력에서 부분 단어 표현을 모델의 일부로 학습하는 트랜스포머다. 후보 블록을 평가하는 GBST 모듈로 고정된 외부 토큰화의 경직성을 줄이려 했다.
ByT5
ByT5는 단어나 부분 단어 대신 바이트 시퀀스를 입력과 출력으로 사용하는 T5 기반 모델 계열이다. 표준 트랜스포머를 적게 수정해 바이트 수준의 사전 학습을 연구했다.
MambaByte
MambaByte는 바이트 시퀀스를 직접 자기회귀 방식으로 학습하는 Mamba 기반 언어 모델이다. 바이트 입력의 긴 길이를 고정 크기 상태와 효율적인 디코딩으로 다루려는 접근이다.
Byte Latent Transformer
Byte Latent Transformer는 원시 바이트를 가변 길이 패치로 묶어 처리하는 언어 모델 구조다. 다음 바이트의 불확실성에 따라 계산 단위를 조절해 복잡한 부분에 더 많은 계산을 배분한다.
MEGABYTE
MEGABYTE는 바이트 시퀀스를 패치로 나누고 패치 내부와 패치 사이를 다른 모델로 처리하는 다중 규모 디코더다. 긴 입력의 자기회귀 모델링 비용을 줄이는 구조를 제안했다.
Hymba
Hymba는 어텐션 헤드와 상태 공간 모델 헤드를 병렬로 결합한 작은 언어 모델 계열이다. 세밀한 정보 회상과 문맥 요약의 역할을 서로 다른 헤드에 연결하는 구조를 제안했다.
Jamba
Jamba는 트랜스포머와 Mamba 및 전문가 혼합을 결합한 언어 모델 구조다. 서로 다른 계층을 섞어 모델 용량과 실제 사용하는 매개변수 및 긴 문맥의 처리 비용을 조절한다.
Differential Transformer
Differential Transformer는 두 소프트맥스 어텐션 맵의 차이를 이용하는 언어 모델 구조다. 관련 없는 문맥에 배분되는 어텐션을 줄이고 필요한 정보에 집중하도록 제안됐다.
nGPT
nGPT는 임베딩과 신경망 내부의 벡터를 단위 노름으로 정규화해 초구면 위에서 표현을 학습하는 트랜스포머 구조다. 각 계층이 예측 방향으로 표현을 이동시키는 관점을 제안했다.
KAN
KAN은 연결마다 학습 가능한 단변수 함수를 두는 신경망 구조다. 콜모고로프와 아르놀트의 표현 정리에서 영감을 받아 다층 퍼셉트론의 대안으로 제안됐다.
Titans 장기 기억 모델
Titans는 어텐션과 신경망 기반 장기 기억을 결합하는 모델 구조 계열이다. 현재 문맥의 직접적인 관계와 과거의 정보를 기억하는 기능을 함께 활용하려는 접근이다.
SynFlow
SynFlow는 학습 자료를 사용하지 않고 초기화 상태에서 신경망을 가지치기하는 방법이다. 계층 전체가 사라지는 붕괴를 피하면서 연결의 흐름을 보존하는 기준을 제안했다.
GraSP
GraSP는 학습을 시작하기 전에 기울기 흐름을 보존하도록 신경망의 연결을 선택하는 가지치기 기준이다. 초기화 단계부터 희소 모델을 만들어 학습 비용도 줄이는 문제를 다룬다.
SNIP 가지치기
SNIP는 신경망을 학습하기 전에 초기화 상태에서 한 번 가지치기하는 방법이다. 주어진 과제에 대한 연결 민감도로 중요한 연결을 골라 희소 모델을 학습한다.
RigL
RigL은 희소 신경망의 연결 구조를 학습 중 바꾸며 훈련하는 방법이다. 먼저 큰 밀집 모델을 학습한 뒤 줄이는 과정 없이 희소 구조를 직접 학습하는 접근을 제안했다.
신경 접선 커널
신경 접선 커널은 신경망의 매개변수 학습이 출력 함수에 만드는 변화를 커널로 분석하는 이론적 도구다. 무한 너비 극한에서 학습 동역학과 일반화를 연구하는 데 사용된다.
이중 하강
이중 하강은 모델의 복잡도가 커질 때 시험 오차가 한 번 나빠진 뒤 다시 좋아지는 형태를 포함하는 일반화 현상이다. 학습 자료를 정확히 맞추는 지점을 넘는 모델의 성능을 설명하려는 연구에서 제안됐다.
그로킹
그로킹은 신경망이 학습 자료에 과적합한 뒤에도 오랜 최적화를 거쳐 일반화 성능이 크게 좋아지는 현상이다. 작은 알고리즘 생성 데이터셋의 실험에서 연구됐다.
언어 모델의 희소 오토인코더
언어 모델의 희소 오토인코더는 내부 활성화를 드물게 켜지는 특징들의 조합으로 재구성해 해석하는 방법이다. 개별 뉴런보다 해석하기 쉬운 특징 방향을 찾는 연구에 활용된다.
ACDC 회로 탐색
ACDC는 모델의 특정 행동을 구현하는 계산 회로를 자동으로 찾는 해석 가능성 연구의 알고리즘이다. 활성화 패칭을 이용하는 기존 분석 과정을 체계화하고 일부를 자동화했다.
Tuned Lens
Tuned Lens는 트랜스포머의 중간 은닉 상태를 어휘 분포로 읽어 계층별 예측을 분석하는 방법이다. 고정한 사전 학습 모델의 각 블록에 아핀 탐침을 학습한다.
간접 목적어 식별 회로
간접 목적어 식별 회로는 GPT-2 small이 간접 목적어 식별 과제를 수행하는 내부 계산을 분석한 연구 사례다. 어텐션 헤드의 역할을 인과적 개입과 정량 기준으로 검토했다.
유도 헤드
유도 헤드는 앞서 나타난 토큰의 연결 패턴을 이용해 뒤의 토큰을 이어 예측하는 어텐션 헤드다. 트랜스포머의 문맥 내 학습을 설명할 수 있는 기제로 연구됐다.
특징 중첩
특징 중첩은 신경망이 여러 희소한 특징을 겹쳐 표현하는 현상을 설명하는 관점이다. 단일 뉴런이 서로 관계없는 여러 개념과 연관되는 다의성을 이해하는 연구에 사용된다.
지식 뉴런
지식 뉴런은 사전 학습 모델의 특정 사실 표현과 관련된 뉴런을 찾아 분석하는 연구 개념이다. BERT의 빈칸 채우기 과제에서 사실과 활성화의 관계를 조사했다.
피드포워드 계층의 키값 메모리
피드포워드 계층의 키값 메모리는 트랜스포머 언어 모델의 피드포워드 계산을 입력 패턴과 출력 분포의 연결로 해석하는 관점이다. 2020년 공개된 연구는 이 계층의 역할을 분석했다.
MEND
MEND는 보조 편집 네트워크가 미세 조정의 기울기를 변환해 모델의 동작을 국소적으로 수정하는 방법이다. 원하는 입력과 출력의 쌍을 이용해 사전 학습 모델을 편집한다.
ROME 모델 편집
ROME는 언어 모델 내부의 특정 사실 연관을 피드포워드 가중치 수정으로 바꾸는 모델 편집 방법이다. 사실 예측에 중요한 계산을 찾는 분석과 직접적인 가중치 편집을 연결했다.