Agent-R1

通过端到端强化学习训练强大的 LLM Agent

最新动态

• [2026.03.23] Agent-R1 v0.1.0 是本项目的首个正式版本。 它引入了完全重构的代码库、Step-level MDP 基础架构以及新的分层抽象（Layered Abstractions）。旧版本代码已归档至 legacy 分支。

• [2026.03.04] 我们发布了 Claw-R1，这是一个更先进的框架，旨在通过中间件设计，利用 Agentic RL（智能体强化学习）为通用智能体（如 OpenClaw 等）赋能。详情请访问 AgentR1/Claw-R1。

项目概述

Agent-R1 是一个开源框架，旨在通过**端到端强化学习（end-to-end reinforcement learning）**训练强大的语言 Agent。借助 Agent-R1，您可以构建自定义的 Agent 工作流，定义交互式环境与工具，并在统一的 RL 流水线中训练多步 Agent。

欢迎查看 Awesome-Agent-RL：这是我们整理的论文和资源合集，专注于通过强化学习发掘 Agent 的潜力。

快速开始

Agent-R1 使用与 verl 相同的环境配置，当前版本要求 verl==0.7.0。您只需克隆本仓库即可；无需进行额外的 Agent-R1 安装步骤。准备好环境后，推荐的学习路径如下：

1. 阅读 入门指南 (Getting Started) 以了解最小化运行流程。
2. 使用 examples/data_preprocess/gsm8k.py 和 examples/run_qwen2.5-3b.sh 进行环境连通性检查。
3. 前往 Agent 任务教程 (Agent Task Tutorial) 学习基于多步交互和工具调用的 Agent-R1 核心工作流。

核心概念：

• Step-level MDP
• 分层抽象 (Layered Abstractions)

使用 Agent-R1 的优秀项目

以下是基于 Agent-R1 构建的代表性项目：

• TableMind：一个用于工具增强型表格推理的自主编程 Agent。TableMind 构建于 Agent-R1 框架之上，利用其端到端强化学习流水线，训练出专门用于结构化表格理解的 Agent。
• PaperScout：一个使用 Agent-R1 构建的学术论文搜索自主 Agent。它引入了近端序列策略优化（Proximal Sequence Policy Optimization, PSPO），这是一种过程感知方法，用于将 Token 级优化与序列级 Agent 交互进行对齐。

致谢

本项研究在中国科学技术大学认知智能全国重点实验室完成。我们衷心感谢 DeepSeek-R1、veRL 和 RAGEN 提供的启发性思路和早期见解，这些成果对 Agent-R1 的发展产生了深远影响。我们同时真诚感谢 刘淇教授 和 程明月教授 的指导与支持。

引用

如果您觉得 Agent-R1 对您的研究有帮助，请引用：

@misc{cheng2025agentr1trainingpowerfulllm,
  title={Agent-R1: Training Powerful LLM Agents with End-to-End Reinforcement Learning},
  author={Mingyue Cheng and Jie Ouyang and Shuo Yu and Ruiran Yan and Yucong Luo and Zirui Liu and Daoyu Wang and Qi Liu and Enhong Chen},
  year={2025},
  eprint={2511.14460},
  archivePrefix={arXiv},
  primaryClass={cs.CL},
  url={https://arxiv.org/abs/2511.14460}
}

Star 历史