PaSa：用于全面学术论文搜索的 LLM Agent —— ACL 2025 (Main)

ByteDance Seed

介绍

我们推出了 PaSa，这是一个由大型语言模型驱动的先进论文搜索（Paper Search）Agent。PaSa 能够自主做出一系列决策，包括调用搜索工具、阅读论文以及筛选相关参考文献，从而为复杂的学术查询获取全面且准确的结果。我们使用包含 3.5 万条细粒度学术查询及对应论文（源自顶级 AI 会议出版物）的合成数据集 AutoScholarQuery，通过强化学习对 PaSa 进行了优化。此外，我们还开发了 RealScholarQuery，这是一个收集了真实学术查询的基准数据集，旨在评估 PaSa 在更现实场景下的表现。尽管是在合成数据上训练，但 PaSa 在 RealScholarQuery 上的表现显著优于现有基准，包括 Google、Google Scholar、经过 GPT-4 改写的 Google 搜索、chatGPT（具备搜索功能的 GPT-4o）、GPT-o1 以及 PaSa-GPT-4o（基于 GPT-4o 实现的 PaSa）。值得注意的是，PaSa-7B 在 recall@20 和 recall@50 指标上分别超过了最佳 Google 类基准（Google + GPT-4o）37.78% 和 39.90%。在 recall 上比 PaSa-GPT-4o 高出 30.36%，在 precision 上高出 4.25%。

快速开始

您可以准备一份详细的学术搜索需求描述，并在 https://pasa-agent.ai 上搜索相关论文。

架构

PaSa 系统由两个 LLM Agent 组成：Crawler（爬虫）和 Selector（筛选器）。Crawler 处理用户查询并可以访问论文队列。它能够自主调用搜索工具、扩展引用关系或停止当前论文的处理。所有由 Crawler 收集到的论文都会被加入论文队列。Selector 则负责阅读论文队列中的每一篇论文，以确定其是否符合用户查询中指定的标准。

数据集

所有数据集均可在 pasa-dataset 获取。

AutoScholarQuery

AutoScholarQuery 是一个合成但高质量的学术查询与相关论文数据集，专为 AI 领域精心策划。

RealScholarQuery

RealScholarQuery 是一个测试数据集，包含 50 个由 AI 研究人员在实际使用系统时提出的真实且细粒度的研究查询。每个查询的答案均由专业标注人员通过各种检索方法尽可能全面地识别得出。

实验

基准（Baselines）

我们在 AutoScholarQuery 的测试集和 RealScholarQuery 上评估了我们的论文搜索 Agent。我们将 PaSa-7b 与以下基准进行了对比：

• Google： 直接使用 Google 进行查询搜索。

• Google Scholar： 直接将查询提交给 Google Scholar。

• Google with GPT-4o： 首先使用 GPT-4o 对学术查询进行改写，然后将改写后的查询在 Google 上进行搜索。

• ChatGPT： 将学术查询提交给由具备搜索功能的 GPT-4o 驱动的 ChatGPT。由于需要手动提交查询，我们仅评估了从 AutoScholarQuery 测试集中随机抽取的 100 个实例。

• GPT-o1： 使用提示词引导 GPT-o1 处理学术查询。

• PaSa-GPT-4o： 在 PaSa 框架内使用 GPT-4o。它可以执行多次搜索、阅读论文以及爬取引用网络。

主要结果

如表 5 所示，PaSa-7b 在 AutoScholarQuery 测试集上的表现优于所有基准。具体而言，与最强的基准 PaSa-GPT-4o 相比，PaSa-7b 在 recall 上提升了 9.64%，且保持了相当的 precision。此外，PaSa-7b 中 Crawler 的 recall 比 PaSa-GPT-4o 高出 3.66%。与最佳 Google 类基准（Google + GPT-4o）相比，PaSa-7b 在 Recall@20、Recall@50 和 Recall@100 上分别实现了 33.80%、38.83% 和 42.64% 的提升。

我们观察到，在推理过程中使用多个 Crawler 集成可以改善性能。具体来说，在推理过程中运行两次 Crawler 使 Crawler 的 recall 在 AutoScholarQuery 上提高了 3.34%，最终使整体 recall 提升了 1.51%，而 precision 保持不变。

为了在更现实的环境中评估 PaSa，我们评估了...