위키득계정 ↗
기술

Wild-Time

Wild-Time기술
발표
NeurIPS 2022 데이터셋과 벤치마크 트랙
논문의 자료 구성
5개 데이터셋
비교 방법
13개 기존 접근
평가 규약
Eval-Fix와 Eval-Stream
Wild-Time은 시간의 흐름에 따라 달라지는 현실 자료 분포를 평가하는 벤치마크다. 고정된 시간 분할과 스트림 평가를 사용해 과거에서 미래로의 일반화를 비교한다.

시간 메타데이터의 의미

시간적 분포 변화에는 자료의 시점 정보가 함께 존재한다. 과거 변화의 경향을 이용해 미래를 예측할 가능성이 있지만 기존 분포 변화 연구에서 충분히 다뤄지지 않은 문제다.

현실 응용의 여러 자료

환자 예후와 뉴스 분류 같은 응용의 시간 변화를 포함하는 다섯 데이터셋을 구성했다. 영역 일반화와 지속 학습 및 자기지도 학습과 앙상블 학습의 기존 방법들을 비교했다.

두 가지 시간 평가

Eval-Fix는 고정된 시간 분할을 사용해 단순한 평가 규약을 제공한다. Eval-Stream은 연속 자료 흐름에서 평가해 일부 현실 응용의 조건에 더 가깝게 구성한다.

분포 변화의 성능 분석

연구는 두 규약에서 분포 안과 밖의 성능 차이를 평가했다. 후속 수정본은 위성 자료 구성의 문제를 보완하고 해당 변형을 FMoW-Time으로 구분했다.

관련 문서

CLEAR 지속 학습 벤치마크 / FMoW / WILDS / DomainBed / Stream-51 / REMIND 지속 학습