MLGym

MLGym：一个用于推动 AI 研究智能体（AI Research Agents）发展的全新框架与基准测试平台。

简介

这是首个专门针对机器学习（ML）任务的 Gym 环境，旨在支持通过强化学习（RL）算法来训练相关智能体的研究工作。MLGym-Bench 包含 13 个来自计算机视觉、自然语言处理、强化学习和博弈论等不同领域的开放式 AI 研究任务。解决这些任务需要具备实际的 AI 研究技能，例如：构思新想法和假设、创建并处理数据、实现 ML 方法、训练模型、运行实验、分析结果，以及通过迭代过程来优化既定任务。

image info

[!WARNING] Meta MLGym 目前是一个旨在对 AI 研究智能体进行基准测试的实验性框架。它正处于高强度的开发阶段，设计结构可能会发生重大调整。

MLGym 的主要目标是扩展 AI 研究任务的选择范围，以便对 LLM 智能体进行基准测试，并在研究环境中通过实现 RL 算法来训练 LLM。 main 分支将始终包含最新的稳定版本，所有破坏性的更改都将在更新日志中发布。

安装指南

克隆项目并安装依赖

git clone git@github.com:facebookresearch/MLGym.git
cd MLGym
conda create -y -n mlgym python=3.11
conda activate mlgym
pip install -e .

在 MLGym 目录下创建一个 .env 文件（MLGym/.env），用于保存包括 API 密钥在内的所有环境变量。

# Env variables
MLGYM_CONFIG_ROOT="/configs"
MLGYM_TASK_CONFIG_DIR="/configs/tasks"
MLGYM_WORKSPACE_PATH="/workspace"
MLGYM_ENV_TIMEOUT=10000
MLGYM_ACTION_SHORT_TIMEOUT=60
MLGYM_ACTION_LONG_TIMEOUT=10000
MLGYM_MODEL_MAX_RETRIES=3

# API keys
OPENAI_API_KEY=""
ANTHROPIC_API_KEY=""

你可以使用 Docker 或 Podman 在容器内运行任务。对于 macOS 用户，推荐使用 Podman 运行容器。
请按照此处的说明安装 Docker。根据你的操作系统选择相应的安装命令。
如果你在 Linux 机器上操作，请安装 nvidia-container-runtime。这是启动支持 GPU 的 Docker 容器所必需的。
```
sudo dnf install -y nvidia-container-toolkit
```
如果你不想使用 Podman，请直接跳至第 9 步。
Linux 环境下： a. 按照此处的说明安装 Podman。 b. 启动 Podman socket。最后一条命令应返回正在运行的 Podman socket 状态：
```
systemctl --user enable podman.socket
systemctl --user start podman.socket
systemctl --user status podman.socket
```
c. 通过在 bashrc 或当前会话中导出 docker host 环境变量，将 docker host 重定向到 podman：
```
export DOCKER_HOST=unix:///run/user/$UID/podman/podman.sock
```
MacOS 环境下： a. 如果使用 Homebrew 包管理器，请运行 brew install podman 安装 Podman。否则，请按照此处的说明进行安装。 b. 启动 podman machine 并设置 docker host 环境变量：
```
podman machine init
podman machine start
export DOCKER_HOST=unix://$(podman machine inspect --format '{{.ConnectionInfo.PodmanSocket.Path}}')
```

拉取容器镜像：

docker pull aigym/mlgym-agent:latest

或

podman pull aigym/mlgym-agent:latest

测试启动支持 GPU 的 docker/podman 容器

docker run -it --gpus all --name test aigym/mlgym-agent /bin/bash
ls -la
exit

使用 nvidia-smi 检查 Docker 容器内是否可用 GPU。

故障排除

如果在 Linux 上遇到 Nvidia CDI 规范错误（例如 Error: setting up CDI devices: unresolvable CDI devices nvidia.com/gpu=all），请运行以下附加命令：

sudo mkdir /etc/cdi
sudo nvidia-ctk cdi generate --output=/etc/cdi/nvidia.yaml
sudo touch /etc/containers/nodocker

快速开始

Docker

python run.py \
  --container_type docker \
  --task_config_path tasks/battleOfSexes.yaml \
  --model litellm:claude-3-5-sonnet-20240620 \
  --per_instance_cost_limit 4.00 \
  --agent_config_path configs/agents/default.yaml \
  --temp 1 \
  --gpus 0 \
  --max_steps 50 \
  --aliases_file ./dockerfiles/aliases.sh

Podman

python run.py \
  --container_type podman \
  --task_config_path tasks/battleOfSexes.yaml \
  --model litellm:claude-3-5-sonnet-20240620 \
  --per_instance_cost_limit 4.00 \
  --agent_config_path configs/agents/default.yaml

轨迹可视化工具

(内容待补充)

贡献与维护

(内容待补充)

许可协议

(内容待补充)