행동이 다음 상황을 바꾼다
가상의 창고에서 운반 장치가 경로를 선택한다고 하자. 현재 이동 방향은 당장의 거리뿐 아니라 다음에 놓일 위치와 이후의 선택에도 영향을 준다. 이런 연속적인 의사결정을 보상과 상호작용으로 학습하는 틀이 강화 학습이다.
정책과 보상
정책은 주어진 관측이나 상태에서 어떤 행동을 선택할지 정하는 방식이다. 보상은 학습 목표를 수치로 전달하는 신호다. 가치 함수는 앞으로 얻을 보상의 합 등에 대한 기대를 평가하는 데 쓰인다.
설계한 보상이 실제 의도와 다르면 점수는 높지만 원하지 않는 행동을 학습할 수 있다. 보상 함수와 평가 환경을 만드는 일은 알고리즘 선택만큼 중요하다.
탐색과 활용
이미 좋은 결과를 낸 행동을 반복하면 당장의 보상을 얻을 수 있지만 더 좋은 방법을 놓칠 수 있다. 아직 잘 모르는 행동을 시도하면 정보를 얻지만 손해를 볼 수도 있다. 이 균형을 탐색과 활용의 문제라고 한다.
실제 기기에서 시도 비용이 큰 경우 시뮬레이션과 기록된 경험을 이용하기도 한다. 그러나 학습 환경과 실제 환경의 차이가 성능에 영향을 줄 수 있다.
지도 학습과의 관계
일반적인 지도 학습은 입력별 목표 출력을 제공하지만 강화 학습에서는 행동 이후의 보상과 상태 변화로 학습한다. 두 방식을 결합하는 시스템도 있다. 강화 학습이 반드시 신경망을 사용하거나 모든 과정에서 새로운 상호작용만 요구하는 것은 아니다.