Awesome-Self-Evolving-Agents

🤖 我们仍在努力更新中 —— 敬请期待！🤖 ⭐ 如果你喜欢这个项目，请给我们点个星标！⭐

图：AI Agent 进化与优化技术的视觉分类法，分为三大方向：单 Agent 优化、多 Agent 优化和领域特定优化。树状结构展示了这些方法从 2023 年到 2025 年的发展历程，包括每个分支中的代表性方法。

AI Agent 开发路径

自进化 AI Agent 的概念框架

开源框架

• (EMNLP'25 Demo) EvoAgentX: 一个用于进化 Agent 工作流的自动化框架 [💻 代码] [📝 论文]
• (Arxiv'25) MASLab: 一个用于基于 LLM 的多 Agent 系统的统一且全面的代码库 [📝 论文] [💻 代码]

1. 单 Agent 优化

1.1 🤖 LLM 行为优化

1.1.1 📌 基于训练的行为优化

(1) 🔧 有监督微调 (Supervised Fine-Tuning) 方法

• (ICLR'24) ToRA: 用于数学问题求解的工具集成推理 Agent [📝 论文] [💻 代码]
• (NeurIPS'22) STaR: 通过推理引导推理 [📝 论文] [💻 代码]
• (Arxiv'24) NExT: 教导大语言模型进行代码执行推理 [📝 论文]
• (EMNLP'24) MuMath-Code: 结合工具使用大语言模型与多视角数据增强进行数学推理 [📝 论文]
• (ICML'25) MAS-GPT: 训练 LLM 以构建基于 LLM 的多 Agent 系统 [📝 论文] [💻 代码]

(2) 🔧 强化学习 (Reinforcement Learning) 方法

• (ICML'24) Self-Rewarding Language Models (自我奖励语言模型) [📝 论文] [💻 代码]
• (Arxiv'24) Tulu 3: 推动开放语言模型后训练的前沿 [📝 论文] [💻 代码]
• (EMNLP'24) Learning Planning-based Reasoning by Trajectories Collection and Process Reward Synthesizing (通过轨迹收集和过程奖励合成学习基于规划的推理) [📝 论文] [💻 代码]
• (Arxiv'24) Agent Q: 自主 AI Agent 的高级推理与学习 [📝 论文]
• (Arxiv'24) DeepSeek-Prover: 通过大规模合成数据推进 LLM 中的定理证明 [📝 论文]
• (ICML'25) Diving into Self-Evolving Training for Multimodal Reasoning (深入探讨多模态推理的自进化训练) [📝 论文] [💻 代码]
• (Arxiv'25) Absolute Zero: 基于零数据的强化自博弈推理 [📝 论文]
• (Arxiv'25) R-Zero: 基于零数据的自进化推理 LLM [📝 论文] [💻 代码]
• (Arxiv'25) SPIRAL: 零和博弈中的自博弈通过多 Agent 多轮强化学习激发推理能力 [📝 论文] [💻 代码]
• (Arxiv'25) DistFlow: 用于可扩展且高效 LLM 后训练的完全分布式 RL 框架 [📝 论文] [💻 代码]
• (Arxiv'25) Vision-Zero: 通过战略博弈化自博弈实现可扩展的 VLM 自我提升 [📝 论文] [💻 代码]
• (Arxiv'25) Parallel-R1: 通过强化学习实现并行思维 [📝 论文] [💻 代码]
• (Arxiv'25) SSRL: 自搜索强化学习 (Self-Search Reinforcement Learning) [📝 论文] [💻 代码]
• (Arxiv'25) SeRL: 面向有限数据的 LLM 自博弈强化学习 [📝 论文]