LazyLLM：用于构建多智能体 LLM 应用的低代码开发工具

中文 | EN

什么是 LazyLLM？

LazyLLM 是一款用于构建**多智能体（multi-agent）**大语言模型应用的低代码开发工具。它能帮助开发者以极低的成本创建复杂的 AI 应用，并支持持续的迭代优化。LazyLLM 为应用构建提供了便捷的工作流，并为应用开发过程的各个阶段提供了大量的标准流程和工具。

基于 LazyLLM 的 AI 应用开发过程遵循 原型构建 -> 数据反馈 -> 迭代优化 的模式。这意味着你可以使用 LazyLLM 快速构建原型应用，然后利用特定任务数据分析 bad cases，随后在应用的关键阶段迭代算法并微调模型，从而逐步提升整体应用性能。

LazyLLM 致力于实现敏捷与高效的统一。开发者可以高效地迭代算法，并将其应用于工业级生产中，支持多用户、容错机制和高并发。

用户文档：https://docs.lazyllm.ai/ 扫描下方二维码加入微信群（左）或观看视频了解更多信息（右）：

功能特点

便捷的 AI 应用组装流程：即使你不熟悉大模型，也可以像搭积木一样，通过我们内置的数据流和功能模块轻松组装多智能体 AI 应用。

复杂应用一键部署：我们提供了一键部署所有模块的能力。在 POC（概念验证）阶段，LazyLLM 通过轻量级网关机制简化了多智能体应用的部署流程，解决了手动依次启动各子模块服务（如 LLM、Embedding 等）并配置 URL 的繁琐问题，使整个过程更加流畅高效。在应用发布阶段，LazyLLM 提供了一键打包镜像的功能，方便利用 Kubernetes 的网关、负载均衡和容错能力。

跨平台兼容性：无需修改代码即可一键切换 IaaS 平台，兼容裸金属服务器、开发机、Slurm 集群、公有云等。这使得开发出的应用可以无缝迁移至其他 IaaS 平台，极大降低了代码修改的工作量。

统一不同技术栈的用户体验：我们为来自不同服务商的在线模型和本地部署的模型提供了统一的用户体验，使开发者能够自由切换和升级模型进行实验。此外，我们还统一了主流推理框架、微调框架、关系型数据库、向量数据库和文档数据库的使用体验。

高效的模型微调：支持在应用内进行模型微调，以持续提升应用性能。系统会根据微调场景自动选择最佳的微调框架和模型切分策略。这不仅简化了模型迭代的维护工作，还让算法研究人员能够专注于算法和数据迭代，无需处理繁琐的工程任务。

你可以用 LazyLLM 构建什么

LazyLLM 可用于构建常见的 AI 应用，以下是一些示例。

3.1 聊天机器人 (ChatBots)

这是一个简单的聊天机器人示例：

# set environment variable: LAZYLLM_OPENAI_API_KEY=xx 
# or you can make a config file(~/.lazyllm/config.json) and add openai_api_key=xx
import lazyllm
chat = lazyllm.OnlineChatModule()
lazyllm.WebModule(chat).start().wait()

如果你想使用本地部署的模型，请确保已安装至少一个推理框架（lightllm 或 vllm），然后使用以下代码：

import lazyllm
# 如果网络畅通，模型将自动下载。
chat = lazyllm.TrainableModule('internlm2-chat-7b')
lazyllm.WebModule(chat, port=23466).start().wait()

如果你通过 pip 安装了 lazyllm，并确保 Python 环境的 bin 目录已添加到 $PATH 中，你可以通过执行 lazyllm run chatbot 快速启动聊天机器人。