Hands-On Modern RL (现代强化学习实战)

这是一个以实践为先的现代强化学习指南，涵盖从经典控制到 LLM 后训练、RLVR 以及多模态智能体的内容。

English · 中文

微信交流群

课程预览 · 概述 · 动态新闻 · 内容概览 · 课程大纲 · 实验代码 · 快速开始 · 贡献指南

课程预览

清晰的学习路径 从序言和基础到前沿课题，章节树和页面大纲助你快速导航。	逐行代码研读 PPO、DPO 和 GRPO 的核心实现均配有代码导图，将数学公式与可读代码一一对应。
训练指标可视化 真实曲线、指标解释与失败信号并列呈现，助你在运行实验的同时进行调试。	LLM 后训练流水线 将 RLHF、DPO、GRPO、RLVR 及相关课题通过流程、工件（Artifacts）和案例串联起来。
智能体 RL 实验 复现 DeepCoder 风格的 GRPO 训练曲线，深入理解工具调用智能体、响应长度与奖励动态。	Atari 游戏实验 通过 Atari Pong 游戏截图和 DQN 训练笔记，展示像素级智能体如何将屏幕输入转化为决策。

---

[!NOTE] 我们希望这门开源课程能激励更多学习者攀登智能前沿，解决通往 AGI 之路上更多棘手的难题。

课程正在快速演进中。建议重点关注未标记“建设中”的章节；进行中的章节可能存在错误，欢迎提交修正建议。

招募 GPU 资源

由于计算资源有限，我们正在寻求 GPU 支持。如果您能提供帮助，请联系 physicoada@gmail.com。

内容概览

• 课程预览
• 概述
• 课程大纲
• 实验代码
• 快速开始
• 贡献指南
• 引用
• 许可证

概述

Hands-On Modern RL 是一门通过实践学习现代强化学习（RL）的开源课程。本课程摒弃了“先公式，后黑盒 API”的传统路径，采用**实践优先（Practice-first）**的方法：学习者从可运行的代码和可观测的训练行为入手，通过具体的运行轨迹来理解状态、价值函数、策略梯度、奖励建模、信用分配以及 RL 背后的数学结构。

本课程跨越了经典控制，并直接对接当前 AI 前沿，包括大语言模型（LLM）后训练、基于 DPO 和 GRPO 的偏好对齐、可验证奖励的强化学习（RLVR）、多轮工具调用智能体、智能体 RL（Agentic RL）以及视觉语言模型（VLM）强化学习。

我们的目标是提供一把坚实的阶梯：从完成第一个 CartPole 任务，到构建现代化的后训练和智能体系统。

设计原则

本课程围绕以下工程与教学原则组织：

1. 先实践，后形式化。 每个主要课题都从实验、指标、失败案例或实现细节出发，随后再引入数学抽象。
2. 理论解释行为。 MDP、贝尔曼方程、策略梯度、GAE、PPO 裁剪、DPO 目标函数和 GRPO 组优势函数等，都被作为解释代码行为的工具引入。
3. 现代 RL 超越经典 RL。 课程涵盖经典控制和深度 RL，进而深入到 RLHF、偏好优化、RLVR、VLM 强化学习以及多轮智能体训练。
4. 调试至上。 训练崩溃、奖励欺骗（Reward Hacking）、KL 漂移、熵衰减、OOM 故障和评估盲点被视为核心教学内容。
5. 可读系统优于黑盒。 示例倾向于显式实现、可检查的指标和清晰的实验边界，方便学习者进行修改和扩展。

目标受众

本课程适合那些希望通过构建和观察工作系统来理解强化学习的学习者。

特别适用于：

• 从监督学习转向 RL 的机器学习工程师。
• 准备阅读现代 RL 和对齐论文的研究人员及学生。
• 对 RLHF、DPO、GRPO、RLVR 和后训练系统感兴趣的 LLM 从业者。
• 工具调用智能体、Web 智能体、代码智能体及评估流水线的开发者。
• 倾向于先通过代码、实验和视觉直觉，再深入理解推导过程的自学者。

推荐背景：

• 具备 Python 编程经验。
• 熟悉基本的 PyTorch。
• 具备机器学习所需的线性代数、概率论和微积分基础。
• 具备阅读论文和跟踪开源训练代码的能力。