LLMCompiler: 用于并行函数调用的 LLM 编译器 [论文]

LLMCompiler 是一个旨在实现 LLM（包括开源和闭源模型）高效且有效的并行函数调用编排的框架。它通过自动识别哪些任务可以并行执行，哪些任务存在依赖关系来实现这一目标。

TL;DR: LLM 的推理能力使其能够执行多个函数调用，从而利用用户提供的函数来克服其固有的局限性（例如知识截止、算术能力不足或无法访问私有数据）。虽然多函数调用使模型能够处理更复杂的问题，但当前的方法通常要求针对每个函数进行顺序推理和执行，这可能导致高延迟、高成本，有时甚至会导致不准确的结果。LLMCompiler 通过将问题分解为多个可以并行执行的任务来解决这个问题，从而高效地编排多函数调用。使用 LLMCompiler，用户只需指定工具以及可选的上下文示例，LLMCompiler 即可自动计算出函数调用的优化编排方案。LLMCompiler 可与 LLaMA 等开源模型以及 OpenAI 的 GPT 模型配合使用。在展现不同并行函数调用模式的一系列任务中，LLMCompiler 始终展现出降低延迟、节省成本和提高准确性的优势。更多详细信息，请参阅我们的 论文。

新闻

• 📌 [7/9] 支持使用 Friendli 端点运行主流开源模型。
• 🦜 [2/13] LLMCompiler 已集成到 LangChain 的 LangGraph 框架中。
• 📌 [1/17] 支持使用 vLLM 运行自定义模型。
• 🦙 [12/29] LLMCompiler 已上线 LlamaIndex。

---

安装

1. 创建 conda 环境并安装依赖：

conda create --name llmcompiler python=3.10 -y
conda activate llmcompiler

2. 克隆仓库并安装依赖：

git clone https://github.com/SqueezeAILab/LLMCompiler
cd LLMCompiler
pip install -r requirements.txt

---

基础运行

要复现论文中的评估结果，请运行以下命令。你需要先在环境变量中注册你的 OpenAI API key：export OPENAI_API_KEY="sk-xxx"

python run_llm_compiler.py --benchmark {benchmark-name} --store {store-path} [--logging] [--stream]

要运行使用 vLLM 框架部署的自定义模型，请运行以下命令。有关使用 vLLM 框架部署自定义模型的详细说明，请参考 vLLM 文档。 注意：默认配置文件中的预定义提示词是针对 (非 chat 版) LLaMA-2 70B 定制的，针对不同模型可能需要进行调整。

python run_llm_compiler.py --model_type vllm --benchmark {benchmark-name} --store {store-path} --model_name {vllm-model-name} --vllm_port {vllm-port} [--logging]

• --benchmark: 基准测试名称。使用 hotpotqa、movie 和 parallelqa 分别在 HotpotQA、电影推荐和 ParallelQA 基准测试上评估 LLMCompiler。
• --store: 保存结果的路径。每个示例的问题、真实标签、预测结果和延迟将以 JSON 格式存储。
• --logging: (可选) 启用日志记录。vLLM 暂不支持。
• --do_benchmark: (可选) 进行更详细的运行时统计基准测试。
• --stream: (可选，推荐) 启用流式传输。它通过在任务生成后立即将任务从规划器 (Planner) 流式传输到任务获取单元 (Task Fetching Unit) 和执行器 (Executor) 来改善延迟，而不是阻塞执行器直到规划器生成所有任务。
• --react: (可选) 使用 ReAct 而非 LLMCompiler 进行基准评估。

Azure 端点

你可以选择使用 Azure 端点代替 OpenAI 端点，通过 --model_type azure 参数指定。在这种情况下，你需要在环境变量中提供相关的 Azure 配置字段：AZURE_ENDPOINT、AZURE_OPENAI_API_VERSION、AZURE_DEPLOYMENT_NAME 和 AZURE_OPENAI_API_KEY。

Friendli 端点

你可以使用 Friendli 端点，通过 --model_type friendli 参数指定。在这种情况下，你需要在环境变量中提供 Friendli API key：FRIENDLI_TOKEN。此外，你需要安装 Friendli 客户端：

pip install friendli-client

运行结束后，你可以通过运行以下命令获取结果摘要：

python evaluate_results.py --file {store-path}

---

添加自定义基准测试

要在自定义基准测试上使用 LLMCompiler，请参考...