RestGPT

这是论文 RestGPT: Connecting Large Language Models with Real-World RESTful APIs 的代码仓库。

本项目旨在构建一个基于 LLM（大语言模型）的自主智能体 RestGPT，用于控制现实世界的应用程序，例如电影数据库和音乐播放器。为了实现这一目标，我们将 LLM 与 RESTful APIs 连接起来，并解决了规划、API 调用和响应解析等方面的实际挑战。为了全面评估 RestGPT 的性能，我们提出了 RestBench，这是一个高质量的基准测试集，包含两个真实应用场景以及带有黄金标准解决方案路径的人工标注指令。

最新动态

• [Next] 演示页面正在建设中。
• [2023/8/29] RestGPT 代码已发布。
• [2023/8/28] 论文 第二版 已发布。
• [2023/6/13] 论文 原文 已发布。

RestGPT

RestGPT 采用迭代式的“从粗到细”在线规划框架，并使用执行器（Executor）来调用 RESTful API。以下是 RestGPT 的架构概览：

模块说明：

• Planner（规划器）：为当前步骤生成自然语言子任务。
• API selector（API 选择器）：将粗略的高级子任务映射为细化的 API 调用计划。
• Executor（执行器）：执行 API 调用计划。
  • Caller（调用者）：根据 API 计划和 API 文档组织 API 参数。
  • Parser（解析器）：根据响应模式（Response Schema）生成 Python 代码以解析 API 响应。

以下是使用 TMDB 电影数据库搜索 Sofia Coppola 导演电影数量的示例：

数据集

我们还引入了 RestBench 来评估 RestGPT 的性能。RestBench 是一个高质量测试集，包含 TMDB 电影数据库和 Spotify 音乐播放器场景。我们收集了真实的各类用户指令，并附带了人工标注的黄金解决方案路径。以下是 RestBench 的示例：

TMDB 示例：

• 指令：今天最热门电影的导演是谁？
• 黄金解决方案路径：
  • GET /trending/{media_type}/{time_window}
  • GET /movie/{movie_id}/credits

Spotify 示例：

• 指令：帮我创建一个包含三首 Mariah Carey 歌曲的播放列表，并命名为“Love Mariah”。
• 黄金解决方案路径：
  • GET /search
  • GET /me
  • POST /users/{user_id}/playlists
  • POST /playlists/{playlist_id}/tracks

以下是数据统计。我们列出了不同长度解决方案路径的指令数量：

场景	#APIs	Len-1	Len-2	Len-3	Len-4	平均长度	总计
TMDB	54	5	66	27	2	2.3	100
Spotify	40	8	18	22	9	2.6	57

环境配置

pip install langchain colorama tiktoken spotipy openai

创建 logs 文件夹。

从 OpenAI 获取 OpenAI Key，从 https://developer.themoviedb.org/docs/getting-started 获取 TMDB Key，以及从 https://developer.spotify.com/documentation/web-api 获取 Spotify Key。

将你的 Key 填入 config.yaml 文件中。

(可选) 初始化 Spotify 环境

警告：此操作将删除你 Spotify 中的所有数据！

python init_spotify.py

运行

代码可以使用以下命令运行：

python run.py

然后输入场景（TMDB/Spotify）和指令即可。

我们还提供了两个脚本用于在 RestBench 上运行 RestGPT：

# TMDB
python run_tmdb.py

# Spotify, 请在你的设备上打开 Spotify 应用
python run_spotify.py

run_tmdb.py 将依次执行 RestBench-TMDB 中的所有指令。对于 RestBench-Spotify，在执行指令前，你需要手动修改 query_idx。

引用

如果你觉得这个仓库有帮助，请引用我们：

@misc{song2023restgpt,
      title={RestGPT: Connecting Large Language Models with Real-World RESTful APIs}, 
      author={Yifan Song and Weimin Xiong and Dawei Zhu and Wenhao Wu and Han Qian and Mingbo Song and Hailiang Huang and Cheng Li and Ke Wang and Rong Yao and Ye Tian and Sujian Li},
      year={2023},
      eprint={2306.06624},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}