시행착오에서 얻은 정보
외부 환경과 상호작용하는 언어 모델은 실패나 결과를 다음 선택에 활용해야 한다. Reflexion은 많은 학습 표본과 비싼 미세 조정 없이 이런 개선을 유도하는 방식을 다뤘다.
언어적 반성과 기억
과제의 피드백 신호에 대해 언어로 반성하고 그 텍스트를 기억 버퍼에 유지한다. 이후 시도는 앞선 반성을 참고해 더 나은 결정을 하도록 구성됐다.
여러 형태의 피드백
숫자 점수나 자유로운 언어 피드백을 사용할 수 있으며 외부에서 받은 신호와 내부적으로 모의한 신호를 모두 다뤘다. 피드백의 형태와 출처에 따른 차이도 분석 대상이다.
기억과 가중치 학습의 구별
관련 연구는 순차 의사결정과 코딩, 언어 추론에서 방법을 평가했다. 여기서 개선은 반성 텍스트를 다음 시도에 활용하는 과정이므로 모델 매개변수를 새로 학습하는 절차와 다르다.
관련 문서
Self-Refine / ReAct 추론과 행동 / Toolformer / HumanEval / 언어 모델 / 추론