다른 규모의 모형을 함께 준비하기
고정된 하나의 큰 모형은 장치나 처리 예산이 달라질 때 유연하게 대응하기 어렵다. DyNet은 같은 계열에서 큰 구성과 가벼운 구성을 전환하도록 설계한다. 입력별 전문가 선택과 모형 깊이의 전환은 서로 다른 개념이다.
가중치를 공유하는 구성
가중치 공유로 초기화된 모듈을 재사용하며 여러 구성을 동시에 사전 학습한다. 깊이가 다른 모형들이 공통 체크포인트를 사용해 각 구성의 가중치를 별도로 저장할 필요를 줄인다. 추론에서도 가중치 공유를 적용하는 구성이다.
데이터와 평가의 범위
사전 학습을 위해 고품질 고해상도 이미지 모음 Million-IRD를 구성했다. 통합 설정에서 잡음 제거와 빗줄기 제거, 안개 제거를 평가한다. 이 범위의 결과를 모든 종류의 이미지 복원에 대한 보장으로 확대해서는 안 된다.
저장과 연산의 독립 예
설명용으로 공통 블록 여섯 개를 저장하고 얕은 구성은 앞의 네 개를 사용한다고 가정할 수 있다. 가중치를 공유하면 두 복사본의 보관을 줄여도 깊은 구성의 연산 자체가 없어지지는 않는다. 실제 모형의 층 수를 옮기지 않은 구분이다.