TensorFlow.js: 강화 학습

강화 학습을 사용하여 카트 위에 있는 봉의 균형을 잡는 모델을 훈련합니다.

Description

이 예제는 TensorFlow.js를 사용하여 간단한 작업을 수행하는 방법을 보여줍니다. reinforcement learning (RL). 특히 TensorFlow.js에서 policy-gradient 방법의 구현을 보여줍니다. 이 구현은 고전적인 카트폴 제어 문제를 해결합니다.

혼자 활동을 통해 에이전트는 가능한 많은 스텝 동안 봉의 균형을 잡는 방법을 배웁니다.

사용 방법

숨겨진 레이어 크기를 선택하고 "모델 생성"을 클릭합니다.
훈련 매개변수를 선택한 다음 "훈련"을 클릭합니다.
모델이 학습하는 동안 주기적으로 백업본을 로컬 브라우저 저장소에 저장하므로 페이지를 새로 고침을 해도 마지막 저장 지점에서 학습을 계속할 수 있습니다. 처음부터 학습을 시작하려면 언제든지 "저장된 모델 삭제"를 클릭하세요.
모델 훈련이 완료되면 "테스트"를 클릭하여 에이전트가 봉의 균형을 잡기 위해 몇 '스텝'을 거쳤는지 확인할 수 있습니다. 모델을 더 빨리 테스트하려면 현재 반복이 끝난 후 '중지'를 클릭하여 교육을 일시 중지할 수도 있습니다.
학습 및 테스트 중에 에이전트 동작의 시뮬레이션이 렌더링됩니다.

상태

대기 중

모델 초기화

히든 레이어 크기(예: "5", "8,6"):

로컬에 저장된 모델

훈련 매개변수

반복 횟수:

반복당 게임:

최대 게임당 스텝:

보상 할인율:

학습률:

훈련중 렌더링: 훈련 속도를 높이려면 선택 해제하세요.

훈련 과정

게임 #:

반복 #:

훈련 속도:

시뮬레이션