Diplomacy Cicero 和 Diplodocus

本代码库包含了以下论文的检查点（checkpoints）及训练代码：

• "Human-Level Play in the Game of Diplomacy by Combining Language Models with Strategic Reasoning"，2022 年 11 月发表于《科学》（Science）杂志。
• "Mastering the Game of No-Press Diplomacy via Human-Regularized Reinforcement Learning and Planning"，被 ICLR 2023 接收。

代码说明

快速导航指南：

• 大多数语言建模和生成代码位于 parlai_diplomacy 中，并利用 ParlAI 框架 来运行和微调相关的语言模型。
• 在 agents 目录下，Cicero 的核心战略规划逻辑位于 此处 和 此处。后者还包含了 Diplodocus 战略规划的核心逻辑。“bqre1p” 是 DiL-piKL 的内部开发代号，“br_corr_bilateral” 则是 Cicero 双边及相关规划组件的内部开发代号。
• 用于 RL 的无对话（dialogue-free）模型架构位于 此处，大部分训练逻辑位于 此处。
• Cicero 和 Diplodocus 的 RL 训练代码位于 此处。
• conf 目录包含了 Cicero、Diplodocus、基准智能体（benchmark agents）的各种配置，以及 RL 的训练配置。
• 本仓库的一个独立授权子文件夹 fairdiplomacy_external 包含了一些用于可视化渲染游戏或连接在线运行智能体的实用工具。

游戏信息

《外交》（Diplomacy）是一款背景设定在 1914 年欧洲的战略棋盘游戏。 棋盘被划分为 56 个陆地区域和 19 个海洋区域。 其中 42 个陆地区域由游戏中的七大强国瓜分：奥匈帝国、英国、法国、德国、意大利、俄罗斯和土耳其。 其余 14 个陆地区域在游戏开始时为中立。

每个强国控制部分区域和单位。 控制单位的数量取决于所控制的战略重镇（Supply Centers, SCs）数量。 简单来说，拥有的 SCs 越多，单位就越多。 游戏的目标是通过将单位移动到这些区域，并说服其他玩家支持你，从而控制超过半数的 SCs。

你可以在此处找到完整的游戏规则。 若想了解游戏的精髓，可以观看一些带有评论的游戏视频。 你可以在 webDiplomacy 上在线进行人机对战或与其他玩家对战。

安装

该项目的大部分代码使用 Python 实现，部分组件使用 C++ 编写。以下代码片段展示了如何在 Ubuntu 系统中使用 conda 环境来安装和构建所有必需组件。你需要一个支持 C++11 的 C++ 编译器（我们使用 gcc 9.4）。

# Clone the repo with submodules:
git clone --recursive git@github.com:facebookresearch/diplomacy_cicero.git diplomacy_cicero
cd diplomacy_cicero

# Apt installs
apt-get install -y wget bzip2 ca-certificates curl git build-essential clang-format-8 git wget cmake build-essential autoconf libtool pkg-config libgoogle-glog-dev

# Install conda
wget --quiet https://repo.anaconda.com/miniconda/Miniconda3-4.7.10-Linux-x86_64.sh -O ~/miniconda.sh
/bin/bash ~/miniconda.sh -b

# Create conda env
conda create --yes -n diplomacy_cicero python=3.7
conda activate diplomacy_cicero

# Install pytorch, pybind11
conda install --yes pytorch=1.7.1 torchvision cudatoolkit=11.0 -c pytorch
conda install --yes pybind11

# Install go for boringssl in grpc
# We have some hacky patching code for protobuf that is not guaranteed
# to work on versions other than this.
conda install --yes go protobuf=3.19.1

# Install python requirements
pip install -r requirements.txt

# Local pip installs
pip install -e ./thirdparty/github/fairinternal/postman/nest/
# NOTE: Postman here links against pytorch for tensors, for this to work you may
# need to separately have installed cuda 11 on your own.
pip install -e ./thirdparty/github/fairinternal/postman/postman/
pip install -e . -vv

# Make
make

# Run unit tests
make test_fast

每次 pull 代码后，建议运行 make 以重新编译内部的 C++ 和 protobuf 代码。

下载模型文件

模型文件的密码如下：dbEmG*yo@fuWzb79cx_pN7.TRm4cqk。运行 bash bin/download_model_files.sh。这将下载并解密所有相关的模型文件到 ./models 目录。该过程可能需要一些时间。请注意，模型文件拥有其独立的许可证（CC-by-NC 4.0），与本仓库的代码许可证不同。更多详细信息请参阅下方。