첫 결과를 다시 다듬기
처음 생성한 출력이 가장 좋은 결과일 필요는 없다. Self-Refine는 결과를 낸 뒤 피드백과 수정을 반복하는 방식으로 초기 출력을 개선하려는 접근이다.
같은 모델의 세 역할
하나의 언어 모델이 처음 결과를 만들고 그 결과에 대한 피드백을 작성한 뒤 수정까지 수행한다. 생성과 평가를 위해 별도 모델을 반드시 학습하는 구성이 아니다.
학습이 아닌 실행 시 개선
감독 학습 자료나 추가 학습 및 강화 학습을 요구하지 않는다. 이미 있는 모델의 출력과 피드백을 반복적으로 사용하는 추론 시점의 방법으로 제안됐다.
다양한 과제의 비교
초기 연구는 대화 응답 생성부터 수학 추론까지 일곱 과제에서 평가했다. 같은 모델이 한 번에 생성한 결과와 비교해 반복 수정의 효과를 사람 선호와 자동 지표로 살폈다.
관련 문서
Reflexion / ReAct 추론과 행동 / 수학 추론의 과정 감독 / STaR 추론 학습 / 언어 모델 / 추론