RestGPT

这是论文 RestGPT: Connecting Large Language Models with Real-World RESTful APIs 的代码仓库。

本项目旨在构建一个基于大语言模型的自主智能体 RestGPT，用于控制现实世界的应用程序，例如电影数据库和音乐播放器。为了实现这一目标，我们将 LLMs 与 RESTful APIs 相连接，并解决了规划、API 调用以及响应解析等实际挑战。为了全面评估 RestGPT 的性能，我们提出了 RestBench，这是一个高质量的基准测试集，包含两个真实场景以及带有标准解决方案路径的人工标注指令。

最新动态

• [待定] 在线演示正在建设中。
• [2023/8/29] 发布 RestGPT 代码。
• [2023/8/28] 发布我们 论文 的第二版。
• [2023/6/13] 发布我们的 论文。

RestGPT

RestGPT 采用迭代式“由粗到细”（coarse-to-fine）的在线规划框架，并使用执行器（executor）来调用 RESTful APIs。以下是 RestGPT 的架构概览：

模块说明：

• Planner（规划器）：为当前步骤生成自然语言子任务。
• API selector（API 选择器）：将粗粒度的高级子任务映射为更精细的 API 调用计划。
• Executor（执行器）：执行 API 调用计划。
  • Caller（调用者）：根据 API 计划和 API 文档组织 API 参数。
  • Parser（解析器）：根据响应模式（response schema）生成 Python 代码以解析 API 响应。

以下是一个使用 TMDB 电影数据库搜索 Sofia Coppola 执导电影数量的示例：

数据

我们还引入了 RestBench 来评估 RestGPT 的性能。RestBench 是一个高质量测试集，包含 TMDB 电影数据库和 Spotify 音乐播放器场景。我们收集了真实的各类用户指令，并附带了人工标注的标准解决方案路径。以下是 RestBench 的示例：

TMDB 示例：

• 指令：Who is the director of today's most trending movie?
• 标准解决方案路径
  • GET /trending/{media_type}/{time_window}
  • GET /movie/{movie_id}/credits

Spotify 示例：

• 指令：Make me a playlist containing three songs of Mariah Carey and name it 'Love Mariah'.
• 标准解决方案路径
  • GET /search
  • GET /me
  • POST /users/{user_id}/playlists
  • POST /playlists/{playlist_id}/tracks

下表是数据统计。我们展示了不同长度解决方案路径的指令数量：

场景	#APIs	Len-1	Len-2	Len-3	Len-4	平均长度	总计
TMDB	54	5	66	27	2	2.3	100
Spotify	40	8	18	22	9	2.6	57

设置

pip install langchain colorama tiktoken spotipy openai

创建 logs 文件夹。

获取 OpenAI Key，从 https://developer.themoviedb.org/docs/getting-started 获取 TMDB Key，从 https://developer.spotify.com/documentation/web-api 获取 Spotify Key。

在 config.yaml 中填入你的 Key。

（可选）初始化 Spotify 环境

警告：这将删除你 Spotify 中的所有数据！

python init_spotify.py

运行

代码可以使用以下命令运行：

python run.py

然后输入场景（TMDB/Spotify）和指令。

我们还提供了两个脚本在 RestBench 上运行 RestGPT：

# TMDB
python run_tmdb.py

# Spotify，请确保在你的设备上打开 Spotify
python run_spotify.py

run_tmdb.py 将依次执行 RestBench-TMDB 的所有指令。对于 RestBench-Spotify，在执行指令前，你需要手动修改 query_idx。

引用

如果你觉得本项目对你有帮助，请引用我们：

@misc{song2023restgpt,
      title={RestGPT: Connecting Large Language Models with Real-World RESTful APIs}, 
      author={Yifan Song and Weimin Xiong and Dawei Zhu and Wenhao Wu and Han Qian and Mingbo Song and Hailiang Huang and Cheng Li and Ke Wang and Rong Yao and Ye Tian and Sujian Li},
      year={2023},
      eprint={2306.06624},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}