Diplomacy Cicero 和 Diplodocus

本代码库包含以下论文的检查点（checkpoints）和训练代码：

• 《Human-Level Play in the Game of Diplomacy by Combining Language Models with Strategic Reasoning》，发表于 2022 年 11 月的《科学》(Science) 期刊。
• 《Mastering the Game of No-Press Diplomacy via Human-Regularized Reinforcement Learning and Planning》，被 ICLR 2023 收录。

代码概览

简要说明：

• 大多数语言建模和生成代码位于 parlai_diplomacy 中，并利用 ParlAI 框架 来运行和微调相关语言模型。
• 在 agents 目录下，Cicero 的战略规划核心逻辑位于此处和此处。后者也包含了 Diplodocus 战略规划的核心逻辑。“bqre1p”是 DiL-piKL 的内部开发代号，“br_corr_bilateral”则是 Cicero 双边及相关规划组件的内部开发代号。
• 用于 RL 的无对话模型架构位于此处，大部分训练逻辑位于此处。
• Cicero 和 Diplodocus 的 RL 训练代码位于此处。
• conf 目录包含 Cicero、Diplodocus、基准智能体（benchmark agents）的各种配置，以及 RL 的训练配置。
• 本仓库的一个独立授权子文件夹 fairdiplomacy_external 包含了一些用于可视化渲染游戏或连接在线运行智能体的工具。

游戏信息

《外交》（Diplomacy）是一款以 1914 年欧洲为背景的战略桌游。 棋盘被划分为 56 个陆地区域和 19 个海域。 其中 42 个陆地区域由游戏中的七大强国瓜分：奥匈帝国、英国、法国、德国、意大利、俄罗斯和土耳其。 其余 14 个陆地区域在游戏开始时为中立区。

每个强国控制部分区域和单位。 控制单位的数量取决于所控制的战略要地，即补给中心（Supply Centers, SCs）的数量。 简单来说，拥有的 SCs 越多，单位就越多。 游戏的目标是通过将单位移动到这些区域，并说服其他玩家支持你，从而控制超过一半的 SCs。

你可以在此处查看完整规则。 要感受游戏精髓，可以观看一些带有评论的比赛录像。 你可以在 webDiplomacy 在线玩这款游戏，与机器人或人类对战。

安装

该项目大部分代码使用 Python 实现，部分组件使用 C++。以下片段展示了如何在 Ubuntu 系统上的 conda 环境中安装并构建所有必需组件。你需要支持 C++11 的 C++ 编译器，我们使用 gcc 9.4。

# Clone the repo with submodules:
git clone --recursive git@github.com:facebookresearch/diplomacy_cicero.git diplomacy_cicero
cd diplomacy_cicero

# Apt installs
apt-get install -y wget bzip2 ca-certificates curl git build-essential clang-format-8 git wget cmake build-essential autoconf libtool pkg-config libgoogle-glog-dev

# Install conda
wget --quiet https://repo.anaconda.com/miniconda/Miniconda3-4.7.10-Linux-x86_64.sh -O ~/miniconda.sh
/bin/bash ~/miniconda.sh -b

# Create conda env
conda create --yes -n diplomacy_cicero python=3.7
conda activate diplomacy_cicero

# Install pytorch, pybind11
conda install --yes pytorch=1.7.1 torchvision cudatoolkit=11.0 -c pytorch
conda install --yes pybind11

# Install go for boringssl in grpc
# We have some hacky patching code for protobuf that is not guaranteed
# to work on versions other than this.
conda install --yes go protobuf=3.19.1

# Install python requirements
pip install -r requirements.txt

# Local pip installs
pip install -e ./thirdparty/github/fairinternal/postman/nest/
# NOTE: Postman here links against pytorch for tensors, for this to work you may
# need to separately have installed cuda 11 on your own.
pip install -e ./thirdparty/github/fairinternal/postman/postman/
pip install -e . -vv

# Make
make

# Run unit tests
make test_fast

每次拉取代码后，建议运行 make 以重新编译内部 C++ 和 protobuf 代码。

下载模型文件

模型文件的密码如下：dbEmG*yo@fuWzb79cx_pN7.TRm4cqk。运行 bash bin/download_model_files.sh。这将下载并解密所有相关模型文件到 ./models 目录。这可能需要一些时间。请注意，模型文件拥有其独立的许可证（CC-by-NC 4.0），与本仓库的代码许可证不同。更多详细信息请见下方。