문서 둘러보기
DDA 확산 기반 적응
DDA는 생성 확산 모델로 시험 입력을 원천 영역 쪽으로 변환하는 적응 방법이다. 분류 모델과 생성 모델은 시험 중 고정하고 입력을 바꿔 영역 차이에 대응한다.
SDA 합성 영역 정렬
SDA는 합성 자료로 원천 모델을 미세 조정해 확산 기반 시험 시점 적응의 영역 정렬을 보완하는 프레임워크다. 조건부 생성과 무조건부 확산을 연결하는 과정을 사용한다.
시험 시점 적응의 시간 제약 평가
시험 시점 적응의 시간 제약 평가는 일정 속도로 도착하는 자료와 적응 처리 속도를 함께 고려하는 온라인 평가 방식이다. 계산이 느린 방법에는 적응에 사용할 수 있는 표본이 더 적게 제공된다.
RDumb
RDumb는 지속적 시험 시점 적응 모델을 주기적으로 사전 학습 상태로 되돌리는 기준 방법이다. 장시간 적응의 성능 붕괴를 조사한 CCC 벤치마크와 함께 제시됐다.
AR-TTA
AR-TTA는 작은 메모리 버퍼와 영역 변화 강도에 따른 동적 적응을 결합하는 지속적 시험 시점 적응 방법이다. 시간적으로 상관된 현실 자료에서 원천 지식 보존과 적응을 함께 다룬다.
DeYO
DeYO는 객체 형태를 흐트러뜨린 변환 전후의 예측 차이를 신뢰도 평가에 사용하는 시험 시점 적응 방법이다. 엔트로피와 함께 예시 선택과 가중에 반영한다.
GTTA
GTTA는 인위적인 중간 영역을 만들어 시험 시점의 변화를 점진적으로 나누는 적응 방법이다. 혼합 증강이나 가벼운 스타일 전이로 자기 학습에 사용할 의사 레이블의 품질을 높이려 한다.
RMT 시험 시점 적응
RMT는 평균 교사 모델에 대칭 교차 엔트로피와 대조 학습을 활용하는 지속적 시험 시점 적응 방법이다. 여러 영역이 이어지거나 점진적으로 변하는 시험 흐름을 다룬다.
EcoTTA
EcoTTA는 동결한 원래 신경망에 가벼운 메타 신경망을 결합하는 지속적 시험 시점 적응 방법이다. 역전파에 필요한 활성 메모리를 줄이고 자기 증류 정규화로 원천 지식을 유지한다.
ROID 시험 시점 적응
ROID는 확신과 다양성의 가중, 원천 모델과 적응 모델의 가중치 평균, 클래스 사전확률 보정을 결합하는 시험 시점 적응 방법이다. 환경 변화와 시간적 상관관계를 함께 다룬다.
DELTA 시험 시점 적응
DELTA는 시험 시점 적응의 정규화 통계와 클래스 편향을 보완하는 결합 방식이다. 시험 배치 재정규화와 동적인 온라인 재가중을 기존 적응 방법에 추가한다.
NOTE 시험 시점 적응
NOTE는 시간적으로 상관된 무정답 시험 자료에 대응하는 지속적 적응 방법이다. 표본에 맞춘 배치 정규화와 예측 균형 저장소 샘플링을 결합한다.
T3A
T3A는 시험 자료로 클래스별 의사 프로토타입을 만들고 선형 분류기를 조정하는 도메인 일반화 방법이다. 신경망 전체의 역전파 없이 시험 단계에서 분류 기준을 바꾼다.
LAME 시험 시점 적응
LAME는 모델의 매개변수 대신 출력 분포를 조정하는 온라인 시험 시점 적응 방법이다. 학습 자료와 목표 정답에 접근하지 않는 조건에서 라플라시안 보정 목적을 최적화한다.
MEMO 시험 시점 적응
MEMO는 한 시험 입력에 여러 자료 증강을 적용하고 평균 예측 분포의 엔트로피를 낮추는 적응 방법이다. 증강 사이의 일관성과 예측의 확신을 함께 유도한다.
마스크 오토인코더 시험 시점 학습
마스크 오토인코더 시험 시점 학습은 각 시험 이미지를 자기지도 복원 과제로 학습해 새로운 분포에 적응하는 방법이다. 하나의 입력에 대한 학습을 마스크 오토인코더로 수행한다.
BAIT 도메인 적응
BAIT는 원천 자료 없이 두 분류기와 특징 추출기를 활용하는 도메인 적응 방법이다. 한 분류기 머리를 고정하고 추가 분류기로 잘못 분류되는 특징을 찾아 표현을 조정한다.
OVANet
OVANet은 클래스별 일대나머지 분류기를 이용하는 범용 도메인 적응 모델이다. 원천에 없던 목표 클래스를 거부하는 기준을 원천 자료로 학습하고 목표 영역에 적응시킨다.
DANCE 도메인 적응
DANCE는 원천과 목표의 클래스 중첩 관계를 미리 정하기 어려운 도메인 적응을 다루는 방법이다. 목표 이웃 군집화와 엔트로피 기반 정렬 및 미지 클래스 거부를 결합한다.
이웃 상호성 기반 원천 없는 적응
이웃 상호성 기반 원천 없는 적응은 목표 특징의 군집 구조와 이웃 예측의 일관성을 활용하는 방법이다. 상호 이웃에 높은 친화도를 주고 잡음 이웃의 영향을 줄인다.
AaD 원천 없는 도메인 적응
AaD는 원천 데이터 없이 목표 특징의 이웃 관계를 이용하는 도메인 적응 방법이다. 가까운 특징들의 예측은 비슷하게 하고 먼 특징들의 예측은 다르게 만드는 학습 목적을 사용한다.
MME 반지도 도메인 적응
MME는 목표 영역에 소량의 정답이 있는 도메인 적응에서 조건부 엔트로피를 교대로 최대화하고 최소화하는 방법이다. 분류기와 특징 인코더가 서로 다른 방향의 목적을 학습한다.
DeCoTa
DeCoTa는 반지도 도메인 적응을 두 과제로 나눈 뒤 분류기들이 서로 가르치게 하는 방법이다. 목표 영역의 소량 정답 자료가 원천 자료에 묻히지 않도록 구분해 활용한다.
DLOW 도메인 흐름
DLOW는 두 영역 사이에 연속적인 중간 영역의 이미지들을 생성하는 모델이다. 원천과 목표를 한 번에 연결하는 대신 외관이 점차 바뀌는 흐름으로 도메인 적응을 돕는다.
CorDA
CorDA는 자기지도 깊이 추정을 활용해 의미 분할 모델을 다른 영역에 적응시키는 방법이다. 깊이와 분할 특징의 관계를 학습하고 깊이 예측 차이로 의사 레이블을 다듬는다.
DADA
DADA는 원천 영역의 조밀한 깊이 정보를 이용하는 의미 분할 도메인 적응 프레임워크다. 분할 정답 외에 학습 중 활용할 수 있는 깊이 지식을 전이에 반영한다.
ADVENT
ADVENT는 픽셀별 예측의 엔트로피를 이용하는 의미 분할 도메인 적응 방법이다. 엔트로피 손실과 적대적 손실이라는 두 접근으로 학습 영역과 시험 영역 사이의 차이를 다룬다.
출력 공간 도메인 적응
출력 공간 도메인 적응은 의미 분할 결과의 공간적 구조를 이용해 영역 차이를 줄이는 방법이다. 2018년 CVPR 연구는 여러 수준의 출력에 적대적 학습을 적용하는 구성을 제시했다.
CyCADA
CyCADA는 픽셀과 특징 수준의 적응에 순환 일관성과 과제 손실을 결합한 도메인 적응 모델이다. 서로 정확히 대응하는 이미지 쌍 없이 영역 간 전이를 학습한다.
픽셀 수준 도메인 적응
픽셀 수준 도메인 적응은 이미지 자체를 목표 영역과 비슷한 외관으로 바꾸는 접근이다. 2017년 CVPR 연구는 생성적 적대 신경망으로 무정답 영역 간 변환을 학습하는 방법을 제시했다.
Generate To Adapt
Generate To Adapt는 생성적 적대 신경망과 학습된 임베딩을 함께 사용해 영역 간 분포를 가까워지게 하는 방법이다. 무정답 자료를 활용해 공동 특징 공간에서 도메인 적응을 학습한다.
도메인 분리 네트워크
도메인 분리 네트워크는 이미지 표현을 영역별 고유 성분과 영역 간 공유 성분으로 나누는 적응 모델이다. 두 성분을 함께 활용한 재구성으로 영역의 특성과 공통 정보를 학습한다.
Deep Domain Confusion
Deep Domain Confusion은 적응 계층과 영역 혼동 손실을 추가해 데이터셋 사이의 차이를 줄이는 신경망 구조다. 의미를 구분하는 능력과 영역에 덜 의존하는 표현을 함께 학습한다.
DRCN 도메인 적응
DRCN은 원천 이미지의 분류와 목표 이미지의 재구성을 함께 학습하는 비지도 도메인 적응 모델이다. 두 과제가 공유하는 인코더에 목표 영역의 구조와 원천의 분류 정보를 담는다.
DAN 도메인 적응
DAN은 신경망의 과제별 특징을 커널 공간에서 정렬하는 도메인 적응 구조다. 여러 커널을 선택해 원천과 목표 영역의 평균 임베딩 차이를 줄인다.
JAN 도메인 적응
JAN은 신경망의 여러 영역별 계층이 이루는 결합 분포를 정렬하는 전이 학습 방법이다. 결합 최대 평균 불일치라는 기준을 사용해 원천과 목표 영역을 비교한다.
MCC 도메인 적응
MCC는 목표 자료에서 클래스 간 예측 혼동을 줄이는 도메인 적응 손실이다. 영역 판별기를 통한 정렬을 명시적으로 사용하지 않고 여러 적응 조건을 같은 원리로 다룬다.
배치 스펙트럼 페널티
배치 스펙트럼 페널티는 적대적 도메인 적응에서 큰 특이값에 페널티를 주는 방법이다. 영역 간 전이가 쉬운 표현을 만들면서 클래스 구분에 필요한 구조도 유지하려는 접근이다.
CDAN
CDAN은 분류기의 예측 정보를 조건으로 사용해 영역 간 특징을 정렬하는 적대적 도메인 적응 방법이다. 클래스별로 나뉜 분포 구조를 정렬 과정에 반영한다.
SHOT
SHOT은 원천 데이터를 다시 사용하지 않고 학습된 원천 모델만으로 목표 영역에 적응하는 방법이다. 분류기는 고정하고 목표 자료의 특징을 추출하는 부분을 조정한다.
MCD 도메인 적응
MCD 도메인 적응은 두 분류기의 출력 차이를 이용해 목표 영역의 특징을 정렬하는 방법이다. 분류기의 불일치를 크게 만들어 취약한 목표 예시를 찾고 특징 생성기는 그 차이를 줄이도록 학습한다.
ADDA
ADDA는 판별 모델과 분리된 영역별 가중치 및 GAN 손실을 결합한 비지도 도메인 적응 방법이다. 기존 적대적 적응 접근을 일반적인 틀로 정리하고 그 안의 새로운 구성을 제시했다.
Deep CORAL
Deep CORAL은 원천과 목표 영역의 신경망 활성 상관관계를 맞추는 비지도 도메인 적응 방법이다. 분류 손실과 상관 정렬 손실을 함께 최적화해 구분 능력과 영역 간 정렬을 조절한다.
도메인 적대 신경망
도메인 적대 신경망은 주된 과제에는 유용하지만 원천과 목표 영역을 구분하기는 어려운 특징을 학습하는 방법이다. 레이블 있는 원천 자료와 레이블 없는 목표 자료를 함께 사용한다.
RoTTA
RoTTA는 시간적으로 서로 관련된 시험 자료가 이어지는 상황의 적응 방법이다. 강건한 정규화와 클래스 균형 메모리 및 시간에 따른 재가중으로 변화하는 입력 흐름을 처리한다.
SAR 시험 시점 적응
SAR은 잡음이 큰 시험 예시를 걸러 내고 평탄한 손실 영역을 찾도록 하는 시험 시점 적응 방법이다. 혼합된 분포와 작은 배치 및 클래스 불균형에서 온라인 갱신의 붕괴를 줄이는 문제를 다룬다.
CoTTA
CoTTA는 시험 환경이 계속 바뀌는 상황에서 원천 자료 없이 모델을 적응시키는 방법이다. 예측 평균화로 오류 누적을 줄이고 일부 가중치를 확률적으로 복원해 기존 지식의 망각을 완화한다.
EATA 시험 시점 적응
EATA는 신뢰할 수 있고 중복되지 않는 시험 예시를 골라 모델을 적응시키는 방법이다. 불필요한 역전파를 줄이고 중요한 매개변수의 변화를 제약해 망각을 완화하는 구성을 제시했다.
Tent 시험 시점 적응
Tent는 시험 자료와 모델 매개변수만으로 예측 엔트로피를 줄이는 적응 방법이다. 배치마다 정규화 통계를 추정하고 채널별 아핀 변환을 최적화해 온라인으로 모델을 갱신한다.
시험 시점 자기지도 학습
시험 시점 자기지도 학습은 레이블 없는 시험 예시에서 보조 학습 문제를 만들고 예측 전에 모델을 갱신하는 방법이다. 학습과 시험의 분포가 달라지는 조건의 일반화를 목표로 제시됐다.
DomainBed
DomainBed는 도메인 일반화 알고리즘을 공통 자료와 모델 및 선택 기준으로 비교하는 실험 틀이다. 학습에서 보지 못한 분포의 성능을 평가할 때 모델 선택 절차까지 비교에 포함해야 한다는 관점에서 제시됐다.
WILDS
WILDS는 실제 응용에서 자연스럽게 발생하는 분포 변화를 모은 기계 학습 벤치마크다. 열 가지 자료를 공통 평가 틀로 제공해 익숙한 조건과 다른 환경의 성능 차이를 비교한다.
그룹 분포 강건 최적화
그룹 분포 강건 최적화는 미리 정한 데이터 집단 가운데 가장 나쁜 학습 손실을 줄이는 접근이다. 평균 성능이 높아도 일부 비전형적인 집단에서 실패하는 문제를 다루며 정규화의 역할이 중요하게 분석됐다.
불변 위험 최소화
불변 위험 최소화는 여러 학습 환경에서 공통으로 성립하는 예측 관계를 찾는 학습 원리다. 학습한 표현 위의 최적 분류기가 모든 학습 분포에서 같아지도록 표현을 학습한다.
기계 학습의 과소명세
기계 학습의 과소명세는 학습 분야의 검증 성능은 비슷하지만 실제 배포 환경에서는 다르게 행동하는 여러 모델을 학습 절차가 허용하는 문제다. 같은 점수가 모델의 같은 행동을 보장하지 않는다는 점을 다룬다.
지름길 학습
지름길 학습은 표준 시험에서는 잘 작동하지만 더 어려운 환경으로 옮기면 실패하는 결정 규칙을 학습하는 현상이다. 높은 벤치마크 점수와 실제로 원하는 문제 해결 능력이 다를 수 있음을 설명한다.
CNN의 질감과 형태 편향
CNN의 질감과 형태 편향 연구는 영상의 질감 단서와 형태 단서가 충돌할 때 분류 판단이 무엇을 따르는지 살폈다. 학습 자료의 스타일을 바꿔 같은 구조의 모델이 사용하는 단서가 달라지는지도 평가했다.
다양한 분포 변화의 견고함
다양한 분포 변화의 견고함 연구는 이미지 스타일과 흐림 및 지역과 카메라 조건이 달라질 때 모델이 어떻게 반응하는지 평가했다. 한 종류의 변화에서의 개선이 다른 변화에서도 유지되는지 분석한다.
ImageNet 오염과 교란 평가
ImageNet 오염과 교란 평가는 일반적인 입력 손상과 작은 변화에서 이미지 분류기의 견고함을 시험하는 벤치마크다. ImageNet-C와 ImageNet-P를 통해 서로 다른 변화 조건을 구분해 측정한다.
ImageNet 자연 적대 예시
ImageNet 자연 적대 예시는 픽셀을 인위적으로 공격하지 않은 실제 이미지로 모델의 어려움을 평가하는 자료다. ImageNet-A의 어려운 분류와 ImageNet-O의 분포 밖 탐지를 함께 제시했다.
GridMask
GridMask는 공간적으로 균등하게 배치한 정사각형 영역을 가려 입력 정보를 제거하는 증강 방법이다. 큰 연속 영역 하나를 지우는 대신 구조적인 마스크로 정보의 제거와 보존을 조절한다.
Random Erasing
Random Erasing은 이미지의 임의 직사각형 영역을 무작위 픽셀 값으로 대체하는 자료 증강 방법이다. 학습 중 여러 수준의 가림을 만들어 모델의 과적합을 줄이고 가려진 대상에 대응하도록 한다.
AugMix
AugMix는 여러 증강 경로의 결과를 혼합하고 예측 일관성을 학습하는 이미지 처리 방법이다. 학습에서 보지 못한 입력 오염에 대한 견고함과 불확실성 추정을 개선하려는 목적을 가진다.
TrivialAugment
TrivialAugment는 이미지마다 하나의 증강만 적용하는 단순한 자동 자료 증강 방법이다. 별도 매개변수 조정 없이 동작하는 기준 접근으로 제시됐으며 여러 증강 공간과 실험 조건을 분석했다.
AutoAugment
AutoAugment는 이미지 자료 증강의 정책을 데이터에서 자동으로 탐색하는 방법이다. 변환의 종류와 적용 확률 및 강도를 조합하고 검증 성능을 기준으로 적합한 정책을 선택한다.
RandAugment
RandAugment는 탐색 공간을 줄여 별도의 대리 과제 없이 자료 증강의 강도를 정하는 방법이다. 적용할 변환 수와 공통 강도라는 작은 설정으로 모델과 자료 규모에 맞게 증강을 조절한다.
CutMix
CutMix는 이미지의 일부 영역을 다른 이미지의 조각으로 대체하고 면적에 비례해 레이블을 섞는 자료 증강 방법이다. 영역을 가리는 정규화 효과를 유지하면서 다른 학습 이미지의 정보를 활용한다.
Cutout
Cutout은 학습 중 입력 이미지의 정사각형 영역을 무작위로 가리는 정규화 방법이다. 합성곱 신경망의 과적합을 줄이고 견고함과 분류 성능을 개선하려는 단순한 입력 변형이다.
MixUp
MixUp은 두 학습 예시와 그 레이블을 같은 비율로 섞어 신경망을 학습하는 원리다. 실제 예시 사이에서 단순한 선형 행동을 선호하도록 정규화해 일반화를 개선하려는 접근이다.
Noisy Student
Noisy Student는 교사가 만든 의사 레이블로 학생을 학습하되 학생에게 잡음을 주는 준지도 학습 방법이다. 같거나 더 큰 학생 모델을 사용하고 학습한 학생을 다시 교사로 삼는 과정을 반복한다.
Mean Teacher
Mean Teacher는 레이블 예측 대신 모델 가중치의 평균으로 교사 모델을 구성하는 준지도 학습 방법이다. 평균화한 모델의 일관성 목표를 활용해 비주석 자료를 학습한다.
Temporal Ensembling
Temporal Ensembling은 학습 중 여러 시점의 예측을 모아 레이블 없는 자료의 학습 목표로 사용하는 준지도 방법이다. 서로 다른 증강과 정규화 조건에서 얻은 출력의 합의로 자기 앙상블을 구성한다.
Meta Pseudo Labels
Meta Pseudo Labels는 학생 모델의 성능 피드백으로 교사 모델을 계속 조정하는 준지도 학습 방법이다. 교사는 레이블 없는 자료에 의사 레이블을 만들고 학생은 이를 사용해 학습한다.
UDA 일관성 학습
UDA는 고급 자료 증강으로 레이블 없는 입력을 변형하고 예측의 일관성을 학습하는 준지도 접근이다. 단순한 잡음보다 증강의 품질이 학습에 중요하다는 관점에서 언어와 영상 과제를 평가했다.
FixMatch
FixMatch는 약한 증강에서 얻은 높은 신뢰도의 의사 레이블을 강한 증강의 학습 목표로 사용하는 준지도 학습 방법이다. 일관성 정규화와 의사 레이블링을 간단한 절차로 결합한다.
MixMatch
MixMatch는 레이블 없는 자료의 추정 레이블과 자료 혼합을 결합하는 준지도 학습 방법이다. 증강한 비주석 예시에 낮은 엔트로피의 레이블을 추정하고 레이블 있는 자료와 함께 MixUp으로 섞어 학습한다.
대칭 교차 엔트로피
대칭 교차 엔트로피는 일반 교차 엔트로피에 역방향 교차 엔트로피를 결합해 잡음 레이블을 다루는 학습 접근이다. 일부 클래스의 과적합과 다른 클래스의 부족한 학습을 함께 줄이려는 목적을 가진다.
일반화 교차 엔트로피 손실
일반화 교차 엔트로피 손실은 잡음 레이블 학습에서 평균 절대 오차와 범주형 교차 엔트로피를 일반화한 손실 계열이다. 잡음에 대한 견고함과 깊은 신경망의 학습 성능을 함께 고려한다.
MentorNet
MentorNet은 다른 신경망의 학습을 안내하는 데이터 기반 커리큘럼 모델이다. 레이블이 잘못된 자료에 과적합하지 않도록 예시별 가중치를 제공하고 학생 모델과 함께 동적으로 학습한다.
Meta-Weight-Net
Meta-Weight-Net은 학습 손실을 예시 가중치로 바꾸는 함수를 데이터에서 배우는 방법이다. 작은 비편향 메타 자료를 이용해 가중치 함수와 분류 모델을 함께 갱신한다.
DivideMix
DivideMix는 잘못된 레이블이 의심되는 예시를 레이블 없는 자료로 다뤄 준지도 학습에 활용하는 방법이다. 예시별 손실 분포로 자료를 나누고 두 모델이 서로의 분할 결과를 사용한다.
메타 학습 기반 예시 재가중
메타 학습 기반 예시 재가중은 깨끗한 검증 자료의 손실을 줄이는 방향으로 학습 예시의 가중치를 정하는 방법이다. 개별 손실 크기만이 아니라 각 예시의 기울기 방향을 활용한다.
Co-teaching
Co-teaching은 잡음이 있는 레이블로 학습할 때 두 신경망이 서로의 학습 예시를 선택해 주는 방법이다. 각 모델은 같은 미니배치에서 고른 예시를 상대 모델에 전달하고 상대가 선택한 자료로 갱신한다.
Confident Learning
Confident Learning은 모델의 예측 확신보다 데이터에 붙은 레이블의 품질을 다루는 접근이다. 관측된 레이블과 알려지지 않은 올바른 레이블의 관계를 추정해 오류가 의심되는 예시를 식별한다.
Trust Score
Trust Score는 분류기의 예측을 해당 클래스와 다른 클래스의 자료까지의 거리로 평가하는 신뢰도 점수다. 분류기 자신의 확신 점수 대신 수정된 최근접 이웃 판단과의 일치 정도를 활용한다.
CalibratedMath
CalibratedMath는 언어 모델이 답과 함께 표현한 확신이 실제 정확도와 맞는지 시험하는 과제 모음이다. 불확실성을 자연어로 표현하도록 학습하는 연구에서 보정과 분포 변화의 일반화를 평가하기 위해 제시됐다.
긴 생성문의 언어적 보정
긴 생성문의 언어적 보정은 사용자가 생성문을 읽고 실제 가능성에 맞는 판단을 하도록 확신 표현을 학습하는 접근이다. 글 속 확신의 적절함을 독자의 후속 예측을 통해 평가한다.
분포 변화의 선택적 질의응답
분포 변화의 선택적 질의응답은 익숙한 질문과 새로운 분야의 질문이 섞일 때 답할 문제를 골라 처리하는 연구다. 높은 정확도를 유지하면서 답변을 보류하지 않는 범위를 넓히는 것이 목표다.
컨포멀 언어 모델링
컨포멀 언어 모델링은 언어 모델에서 여러 응답 후보를 표본 추출하고 후보 집합에 관한 통계적 보장을 구성하는 방법이다. 생성 중단과 후보 제거 규칙을 보정해 적절한 답을 포함하는 집합을 만든다.
문맥 보정 프롬프팅
문맥 보정 프롬프팅은 소수 예시를 넣은 프롬프트가 특정 답을 선호하는 편향을 추정해 예측을 조정하는 방법이다. 내용 없는 입력에 대한 반응으로 편향을 측정하고 답 사이의 균형을 맞춘다.
언어 모델의 언어화된 확신
언어 모델의 언어화된 확신은 답이 맞을 가능성을 모델이 출력하는 숫자나 표현으로 묻는 방식이다. 사람 피드백으로 학습한 모델에서 이런 확신과 내부 조건부 확률의 보정 특성을 비교한 연구가 있다.
SelfCheckGPT
SelfCheckGPT는 같은 모델에서 여러 응답을 표본 추출하고 사실 내용의 일관성을 비교하는 환각 탐지 방법이다. 외부 데이터베이스나 모델의 출력 확률 분포 없이 블랙박스 모델의 응답을 평가한다.
언어 모델의 자기 지식 예측
언어 모델의 자기 지식 예측은 자신의 답이 맞을 가능성과 질문에 답할 지식을 갖췄을 가능성을 구분해 추정하는 연구다. 모델의 확신이 실제 정답 여부와 얼마나 맞는지 보정 특성을 분석한다.
ELI5 질의응답 데이터셋
ELI5는 열린 질문에 여러 문장으로 자세히 설명하는 긴 형식 질의응답 데이터셋이다. Reddit의 설명형 질문과 답변을 모으고 답변에 활용할 웹 문서도 함께 제공했다.
FActScore
FActScore는 긴 생성문을 작은 사실 단위로 나눈 뒤 지식 자료가 뒷받침하는 비율을 계산하는 평가 방법이다. 하나의 글에 맞는 내용과 뒷받침되지 않는 내용이 섞이는 문제를 세밀하게 다룬다.
AmbigQA
AmbigQA는 여러 해석이 가능한 개방형 질문에서 가능한 답을 찾고 각 답에 맞게 질문을 명확히 다시 쓰는 과제다. 질문의 모호함을 하나의 답으로 덮지 않고 해석별로 구분해 평가한다.
ASQA
ASQA는 해석에 따라 답이 달라지는 사실 질문에 긴 요약 답변을 만드는 과제와 데이터셋이다. 여러 해석의 정답을 통합해 모호함을 풀어 설명하는 능력을 평가한다.
ComplexWebQuestions
ComplexWebQuestions는 복합 질문을 여러 단순 질문으로 나눠 웹에서 답하는 연구를 위해 만든 데이터셋이다. 부분 질문의 답을 순서대로 구하고 이를 결합해 최종 답을 도출하는 접근을 평가한다.
IIRC
IIRC는 처음 주어진 문단에 일부 정보만 있고 나머지는 연결된 문서에서 찾아야 하는 독해 데이터셋이다. 필요한 정보가 부족함을 알아차리고 추가 자료를 찾는 능력을 평가한다.
2WikiMultiHopQA
2WikiMultiHopQA는 정형 자료와 비정형 문서를 함께 활용해 다단계 질의응답을 평가하는 데이터셋이다. 정답뿐 아니라 질문에서 답으로 이어지는 추론 경로의 근거 정보도 제공한다.