PaSa: 基于大语言模型的综合学术论文搜索智能体 (ACL 2025 主会)

字节跳动 Seed 团队

简介

我们推出了 PaSa，这是一个由大语言模型（LLM）驱动的先进论文搜索（Paper Search）智能体。PaSa 可以自主进行一系列决策，包括调用搜索工具、阅读论文以及筛选相关参考文献，从而为复杂的学术查询获取全面且准确的结果。我们利用合成数据集 AutoScholarQuery 对 PaSa 进行了强化学习优化，该数据集包含 3.5 万个细粒度的学术查询及其对应的顶尖人工智能会议论文。此外，我们还开发了 RealScholarQuery，这是一个收集真实世界学术查询的基准测试，用于评估 PaSa 在更实际场景中的表现。尽管是在合成数据上训练的，但 PaSa 在 RealScholarQuery 上的表现显著优于现有的基准模型，包括 Google、Google Scholar、通过 GPT-4 进行改写的 Google 搜索、chatGPT（具备搜索功能的 GPT-4o）、GPT-o1 以及 PaSa-GPT-4o（基于 GPT-4o 实现的 PaSa）。值得注意的是，PaSa-7B 在 recall@20 和 recall@50 指标上分别超过了最强的基于 Google 的基准模型（Google with GPT-4o）37.78% 和 39.90%。此外，其在 recall 上比 PaSa-GPT-4o 高出 30.36%，在 precision 上高出 4.25%。

快速开始

您可以准备一份关于学术搜索需求的详细描述，并在 https://pasa-agent.ai 上搜索论文。

架构

PaSa 系统由两个 LLM 智能体组成：Crawler（爬取器）和 Selector（筛选器）。Crawler 处理用户查询，并可以访问论文队列。它可以自主调用搜索工具、扩展引用关系或停止处理当前论文。Crawler 收集的所有论文都会被加入论文队列。Selector 读取论文队列中的每篇论文，以确定其是否符合用户查询中指定的标准。

数据集

所有数据集均可在 pasa-dataset 获取。

AutoScholarQuery

AutoScholarQuery 是一个高质量的学术查询与相关论文的合成数据集，专为人工智能领域策划。

RealScholarQuery

RealScholarQuery 是一个测试数据集，包含 50 个由 AI 研究人员在实际使用系统时提出的细粒度研究查询。每个查询的答案均由专业标注人员通过多种检索方法尽可能全面地识别得出。

实验

基准模型

我们在 AutoScholarQuery 测试集和 RealScholarQuery 上评估了我们的论文搜索智能体。我们将 PaSa-7b 与以下基准模型进行了比较：

• Google： 直接使用 Google 进行查询搜索。

• Google Scholar： 直接向 Google Scholar 提交查询。

• Google with GPT-4o： 首先使用 GPT-4o 改写学术查询，然后将改写后的查询在 Google 上进行搜索。

• ChatGPT： 将学术查询提交给由 GPT-4o 支持的具备搜索功能的 ChatGPT。由于需要手动提交查询，我们仅评估了从 AutoScholarQuery 测试集中随机抽取的 100 个实例。

• GPT-o1： 使用提示词引导 GPT-o1 处理学术查询。

• PaSa-GPT-4o： 在 PaSa 框架内使用 GPT-4o。它可以执行多次搜索、阅读论文以及爬取引用网络。

主要结果

如表 5 所示，PaSa-7b 在 AutoScholarQuery 测试集上优于所有基准模型。具体而言，与最强的基准模型 PaSa-GPT-4o 相比，PaSa-7b 在 recall 上提升了 9.64%，且保持了相当的 precision。此外，PaSa-7b 中 Crawler 的 recall 比 PaSa-GPT-4o 高出 3.66%。与最强的 Google 基准模型（Google with GPT-4o）相比，PaSa-7b 在 Recall@20、Recall@50 和 Recall@100 上分别实现了 33.80%、38.83% 和 42.64% 的提升。

我们观察到，在推理过程中使用多个 Crawler 集成可以提高性能。具体来说，在推理过程中运行两次 Crawler，使得 Crawler 的 recall 在 AutoScholarQuery 上提高了 3.34%，从而使最终的 recall 提高了 1.51%，且 precision 保持相近。

为了在更现实的场景下评估 PaSa，我们进行了评估...