Agents 2.0: 符号化学习赋能自我演进智能体 (Self-Evolving Agents)

[🤖项目主页] [📄论文] [📝文档] [🌟概览] [🔧安装] [🚩引用]

---

🔔 新闻

• [2024-06-25] 我们发布了 Agents 2.0 版本，这是对原有库的一次重大更新，增加了对智能体学习（Agent Learning）和评估的支持。

---

🌟 概览

智能体符号化学习（Agent Symbolic Learning）是一个用于训练语言智能体的系统性框架，其灵感源自训练神经网络的联结主义学习过程。我们将语言智能体与神经网络进行类比：智能体的流水线（pipeline）对应神经网络的计算图；流水线中的一个节点对应神经网络中的一层；而节点的提示词（prompts）和工具（tools）则对应层中的权重。通过这种方式，我们能够利用基于语言的损失函数、梯度和权重，在智能体训练的背景下实现联结主义学习的核心组件，即反向传播和基于梯度的权重更新。

我们在精心设计的提示词流水线框架下，实现了智能体训练中的损失函数、反向传播和权重优化器。对于训练样本，我们的框架首先执行“前向传播”（智能体执行），并将每个节点中的输入、输出、提示词和工具使用情况存储在“轨迹”（trajectory）中。接着，我们使用基于提示词的损失函数来评估结果，产生“语言损失”（language loss）。随后，我们沿着轨迹从最后一个节点向第一个节点反向传播该语言损失，针对每个节点内的符号化组件生成文本分析和反思，我们称之为“语言梯度”（language gradients）。最后，我们利用另一个精心设计的提示词，根据语言梯度更新每个节点中的所有符号化组件，以及由这些节点及其连接组成的计算图。通过将节点视为不同的智能体，或允许多个智能体在一个节点内采取行动，我们的方法也能自然地支持多智能体系统的优化。

工作流程图示

---

🔧 安装

通过 git 分支安装：

pip install git+https://github.com/aiwaves-cn/agents@master

本地开发环境安装：

git clone -b master https://github.com/aiwaves-cn/agents
cd agents
pip install -e .

---

⭐ Star 历史

---

🚩 引用

如果您在研究中使用了我们的仓库，请考虑引用以下内容：

@article{zhou2024agents2,
      title={Symbolic Learning Enables Self-Evolving Agents}, 
      author={Wangchunshu Zhou and Yixin Ou and Shengwei Ding and Long Li and Jialong Wu and Tiannan Wang and Jiamin Chen and Shuai Wang and Xiaohua Xu and Ningyu Zhang and Huajun Chen and Yuchen Eleanor Jiang},
      year={2024},
      eprint={2406.18532},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2406.18532}, 
}

@article{zhou2023agents,
      title={Agents: An Open-source Framework for Autonomous Language Agents}, 
      author={Wangchunshu Zhou and Yuchen Eleanor Jiang and Long Li and Jialong Wu and Tiannan Wang and Shi Qiu and Jintian Zhang and Jing Chen and Ruipu Wu and Shuai Wang and Shiding Zhu and Jiyu Chen and Wentao Zhang and Xiangru Tang and Ningyu Zhang and Huajun Chen and Peng Cui and Mrinmaya Sachan},
      year={2023},
      eprint={2309.07870},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2309.07870}, 
}