초기 선택이 중요한 문제
왼쪽에서 오른쪽으로 토큰을 생성하는 방식만으로는 전략적인 탐색이 필요한 과제에서 한계가 생길 수 있다. ToT는 초기 판단이 뒤의 해결에 크게 영향을 주는 문제를 다뤘다.
중간 단계의 여러 후보
하나의 토큰보다 큰, 일관된 중간 텍스트를 탐색의 단위로 삼는다. 여러 추론 경로를 고려하며 다음에 어느 방향으로 나아갈지 모델의 평가를 활용한다.
앞보기와 되돌아가기
필요한 경우 앞선 전개를 살피거나 이전 분기로 돌아가 전역적인 선택을 할 수 있게 한다. 이미 생성한 하나의 경로를 수정 없이 끝까지 따르는 방식과 구별된다.
계획과 탐색의 평가
초기 연구는 24 만들기 게임과 창작 글쓰기, 작은 낱말 퍼즐에서 방법을 평가했다. 이 결과는 계획과 탐색이 필요한 해당 과제에서의 비교로 이해할 수 있다.
관련 문서
Graph of Thoughts / 사고 사슬 프롬프팅 / 자기 일관성 디코딩 / 알고리즘 / 언어 모델 / 추론