深度强化学习

项目：训练 AI 玩贪吃蛇 (Snake)

更新：

本项目近期已进行更新与改进：

• 现在可以使用贝叶斯优化 (Bayesian Optimization) 对深度强化学习 (Deep RL) 方法进行优化。
• 深度强化学习代码已从 Keras/TF 迁移至 Pytorch。如需查看旧版本的 Keras/TF 代码，请参考该仓库：snake-ga-tf。

简介

本项目旨在开发一个能够从零开始学习玩经典游戏“贪吃蛇”的 AI Bot。为此，我实现了一种深度强化学习算法。该方法通过向系统提供与其状态相关的参数，并根据其动作给予正向或负向的奖励来运作。游戏中没有任何预设规则，Bot 最初对需要做什么一无所知。系统的目标是摸索出规则并制定策略，以最大化分数或奖励。 我们将见证 Deep Q-Learning 算法如何学习玩贪吃蛇，仅需 5 分钟的训练即可达到 50 分并展现出稳健的策略。 此外，还可以运行贝叶斯优化方法来寻找深度神经网络的最优参数，以及 Deep RL 方法的部分参数。

安装

本项目需要 Python 3.6 环境，并安装 pygame 库和 Pytorch。如果在使用 torch=1.7.1 时遇到任何错误，可能需要安装 Visual C++ 2015-2019（或者直接降低 pytorch 版本，通常这样也可以）。 完整需求列表请见 requirements.txt。

git clone git@github.com:maurock/snake-ga.git

运行

若要运行并显示游戏画面，请在 snake-ga 文件夹内执行：

python snakeClass.py

参数说明：

• --display - 布尔值，默认为 True，决定是否显示游戏画面
• --speed - 整数，默认为 50，表示游戏速度

默认配置会加载 weights/weights.h5 文件并进行测试。

若要训练智能体（Agent），请在 snakeClass.py 中设置：

• params['train'] = True 深度神经网络的参数可以在 snakeClass.py 中通过修改 define_parameters() 函数内的 params 字典来进行更改。

如果在命令行运行 snakeClass.py，可以将参数设置为 --display=False 和 --speed=0。这样就不会显示游戏画面，训练阶段的速度会更快。

使用贝叶斯优化进行 Deep RL 优化

若要优化深度神经网络及其他参数，请运行：

python snakeClass.py --bayesianopt=True

该方法使用贝叶斯优化来优化 Deep RL 的部分参数。参数及特征搜索空间可以通过编辑 bayesOpt.py 中的 optimize_RL 函数内的 optim_params 字典来进行修改。

Mac 用户说明

由于许多用户无法正常显示游戏画面，这似乎是一个 macOS 特有的问题。 要解决此问题，请在 update_screen() 中添加如下行：

def update_screen():
    pygame.display.update() 
    pygame.event.get() # <--- 添加此行 ###