SFighterAI

简体中文 | English | Español

本项目是一个基于深度强化学习（Deep Reinforcement Learning）训练的 AI 智能体，旨在通关游戏《街头霸王 II：特别冠军版》（Street Fighter II: Special Champion Edition）的最终 BOSS。该 AI 智能体仅通过游戏画面的 RGB 像素值进行决策。在提供的存档状态下，该智能体在最终关卡的第一回合可实现 100% 的胜率（存在过拟合现象，详见运行测试章节的讨论）。

文件结构

├───data
├───main
│   ├───logs
│   ├───trained_models
│   └───scripts
├───utils
│   └───scripts

游戏配置文件存储在 data/ 文件夹中，项目主代码位于 main/ 文件夹内。在 main/ 目录下，logs/ 文件夹包含终端/控制台输出以及记录训练过程的数据曲线（可通过 Tensorboard 查看），而 trained_models/ 文件夹则存放了不同阶段的模型权重。这些权重可用于 test.py 中进行测试，以观察 AI 智能体在不同训练阶段所学策略的表现。

运行指南

本项目基于 Python 编程语言，主要使用 OpenAI Gym Retro 和 Stable-Baselines3 等标准库。所使用的 Python 版本为 3.8.10，建议使用 Anaconda 来配置 Python 环境。以下设置流程已在 Windows 11 上经过测试。以下命令适用于控制台/终端/Shell。

环境设置

# 创建名为 StreetFighterAI 的 conda 环境，Python 版本为 3.8.10
conda create -n StreetFighterAI python=3.8.10
conda activate StreetFighterAI

# 安装 Python 库
cd [parent_directory_of_project]/street-fighter-ai/main
pip install -r requirements.txt

# 运行脚本以定位 gym-retro 游戏文件夹
cd ..
python .\utils\print_game_lib_folder.py

当控制台输出文件夹路径后，将其复制并粘贴到文件资源管理器中以打开相应路径。该文件夹包含 gym-retro 中《街头霸王 II：特别冠军版》的游戏数据文件，包括游戏 ROM 文件和数据配置文件。请将本项目 data/ 文件夹中的 Champion.Level12.RyuVsBison.state、data.json、metadata.json 和 scenario.json 文件复制到该游戏数据文件夹中，并替换原文件（可能需要管理员权限）。.state 文件是游戏最高难度的存档，而三个 .json 文件是存储游戏信息内存地址的 gym-retro 配置文件（本项目仅使用 [agent_hp] 和 [enemy_hp] 来实时读取角色血量）。

要运行程序，您还需要《街头霸王 II：特别冠军版》的游戏 ROM 文件。Gym-retro 不提供该文件，必须通过其他合法途径获取。您可以参考此链接。

在合法获取游戏 ROM 文件后，将其复制到上述的 gym-retro 游戏数据文件夹中，并重命名为 rom.md。至此，环境设置完成。

注 1：如果您想手动捕获存档状态并查找游戏中的内存变量，可以使用 gym-retro 的集成 UI。将 data/Gym Retro Integration.exe 复制到上述 gym-retro 游戏数据文件夹的父级菜单（向上两级，即 retro/ 文件夹）中。

注 2：如果您想录制 AI 智能体的游戏过程视频，需要安装 ffmpeg。

conda install ffmpeg

运行测试

环境配置完成后，您可以运行 main/ 文件夹下的 test.py 来测试并体验 AI 智能体在不同训练阶段的表现。

cd [parent_directory_of_project]/street-fighter-ai/main
python test.py

模型权重文件存储在 main/trained_models/ 文件夹中。test.py 默认使用的模型是 ppo_ryu_2500000_steps_updated.zip，它具有良好的泛化能力，能够击败《街头霸王 II：特别冠军版》的最终关卡。如果您想观察其他模型的表现，可以修改 test.py 中的 model_path 变量，将其指向其他模型文件的路径。各训练阶段模型的观察表现如下：

• ppo_ryu_2000000_steps_updated：刚开始出现状态过拟合，具有一定的泛化能力，但尚不足以通关。
• ppo_ryu_2500000_steps_updated：接近最终的过拟合状态，无法完全主宰第一回合，但具有部分泛化能力，有很大几率通过最终关卡。
• ppo_ryu_3000000_steps_updated：接近最终的过拟合状态，基本能主宰第一回合，但几乎没有泛化能力。
• ppo_ryu_7000000_steps_updated：已过拟合，可主宰第一回合。