Executable Code Actions Elicit Better LLM Agents

📃 论文 • 🤗 数据集 (CodeActInstruct) • 🤗 模型 (CodeActAgent-Mistral-7b-v0.1) • 🤖 与 CodeActAgent 聊天！

我们提议使用可执行的 代码 (Code) 来统一大语言模型 (LLM) 智能体的 动作 (Actions) 空间 (CodeAct)。 通过集成 Python 解释器，CodeAct 能够执行代码动作，并根据新的观察结果（例如代码执行结果）进行多轮交互，从而动态修改之前的动作或发出新的动作（查看此示例！）。

新闻

2024年4月10日: CodeActAgent Mistral 现已在 ollama 上正式发布！

2024年3月11日: 我们增加了对 llama.cpp 的支持，以便在笔记本电脑上运行 CodeActAgent 推理（已在 MacOS 上测试），查看说明请点击此处！

2024年3月11日: 我们现在支持通过 Kubernetes ⎈ 部署 CodeActAgent 的所有组件（LLM 服务、代码执行器、MongoDB、Chat-UI）！请查看此指南！

2024年2月2日: CodeAct 正式发布！

为什么选择 CodeAct？

我们针对 17 个 LLM 在 API-Bank 和新策划的基准测试 M3ToolEval 上进行了广泛分析，结果表明 CodeAct 的表现优于广泛使用的文本 (Text) 和 JSON 等替代方案（成功率最高可提升 20%）。请查阅我们的论文以获取更详细的分析！

CodeAct 与 Text / JSON 作为动作时的对比。

CodeAct 与 {Text, JSON} 在 M3ToolEval 上的量化对比结果。

📁 CodeActInstruct

我们收集了一个指令微调数据集 CodeActInstruct，包含 7k 条使用 CodeAct 的多轮交互记录。数据集已在 HuggingFace 数据集 🤗 上发布。有关数据收集的详细信息，请参阅论文及此章节。

数据集统计。Token 统计信息使用 Llama-2 分词器计算。

🪄 CodeActAgent

CodeActAgent 在 CodeActInstruct 和通用对话数据上进行训练，相比同等规模的开源模型，它在领域外 (out-of-domain) 的智能体任务中表现更出色，同时不牺牲通用能力（如知识、对话）。我们发布了两个版本的 CodeActAgent：

• CodeActAgent-Mistral-7b-v0.1 (推荐，模型链接)：以 Mistral-7b-v0.1 为基础模型，支持 32k 上下文窗口。
• CodeActAgent-Llama-7b (模型链接)：以 Llama-2-7b 为基础模型，支持 4k 上下文窗口。

CodeActAgent 的评估结果。ID 和 OD 分别代表领域内 (in-domain) 和领域外 (out-of-domain) 评估。整体平均性能将 MT-Bench 分数标准化，以便与其他任务保持一致，并排除了领域内任务以确保公平比较。

请查阅 :page_with_curl: 我们的论文 以获取关于数据收集、模型训练、评估等的更多详细信息！

🚀 在您的应用中使用 CodeActAgent！

聊天界面的演示。

一个 CodeActAgent 系统包含以下组件：

• LLM Serving (服务)：我们以 vLLM 为例，但任何能够提供 OpenAI 兼容 API 的服务软件均可使用。
• 交互接口：
  • Chat-UI 聊天界面 + MongoDB 聊天历史记录
  • 或 简单的 Python 脚本
• 代码执行引擎：该服务将启动一个 API，接受来自 Chat-UI 或 Python 脚本的代码执行请求，并为每个聊天会话启动一个独立的 Docker 容器来执行代码。

🌟 如果您有 Kubernetes 集群访问权限：您可以按照我们的 Kubernetes 设置指南操作，只需一个命令即可启动所有这些组件！

请按照以下指南使用 Docker 进行设置。

将模型部署为 OpenAI 兼容的 API

使用 Docker 运行 VLLM (需要 nvidia-docker)

# 你应该先下载模型，以下是 CodeActAgent-Mistral 的示例
cd $YOUR_DIR_TO_DOWNLOADED_MISTRAL_MODEL
git lfs install
git clone https://huggingface.co/xingyaoww/CodeActAgent-Mistral-7b-v0.1
./scripts/chat/start_vllm.sh $YOUR_DIR_TO_DOWNLOADED_MISTRAL_MODEL/CodeActAgent-Mistral-7b-v0.1
# 或者
# ./scripts/chat_ui/start_vllm.sh $YOUR_DIR_TO_DOWNLOADED_LLAMA_MODEL/CodeActAgent-Llama-7b

此脚本（需要 Docker）将根据 CUDA_VISIBLE_DEVICES 在端口 8080 上托管该模型，您可以通过 OpenAI 格式访问该模型。