LazyLLM：用于构建多智能体（Multi-agent）LLM 应用的低代码开发工具

中文 | EN

什么是 LazyLLM？

LazyLLM 是一个用于构建**多智能体（Multi-agent）**大语言模型应用的低代码开发工具。它协助开发者以极低的成本创建复杂的 AI 应用，并支持持续的迭代优化。LazyLLM 为应用构建提供了便捷的工作流，并为应用开发过程的各个阶段提供了大量的标准流程和工具。

基于 LazyLLM 的 AI 应用开发遵循 原型构建 -> 数据反馈 -> 迭代优化 的模式，这意味着你可以使用 LazyLLM 快速构建原型应用，利用特定任务数据分析“坏案例”（bad cases），随后在应用的关键阶段进行算法迭代和模型微调，从而逐步提升整体应用性能。

LazyLLM 致力于实现灵活性与效率的统一。开发者可以高效地迭代算法，并将迭代后的算法应用于工业生产，支持多用户、容错和高并发场景。

用户文档：https://docs.lazyllm.ai/ 扫描下方二维码通过微信加入交流群（左），或观看视频了解更多（右）。

特性

便捷的 AI 应用组装流程：即使你不熟悉大模型，也可以通过内置的数据流和功能模块，像搭积木一样轻松组装多智能体 AI 应用。

复杂应用一键部署：我们提供一键部署所有模块的能力。具体而言，在 POC（概念验证）阶段，LazyLLM 通过轻量级网关机制简化了多智能体应用的部署流程，解决了依次启动各子模块服务（如 LLM、Embedding 等）并配置 URL 的繁琐问题，使整个过程更平滑、更高效。在应用发布阶段，LazyLLM 提供一键打包镜像功能，轻松利用 Kubernetes 的网关、负载均衡和容错能力。

跨平台兼容性：无需修改代码即可一键切换 IaaS 平台，兼容裸金属服务器、开发机、Slurm 集群、公有云等。这使得开发完成的应用可以无缝迁移至其他 IaaS 平台，极大降低了代码修改的工作量。

不同技术选型的统一用户体验：我们为来自不同服务商的在线模型和本地部署模型提供了统一的用户体验，允许开发者自由切换和升级模型进行实验。此外，我们还统一了主流推理框架、微调框架、关系型数据库、向量数据库和文档数据库的使用体验。

高效的模型微调：支持在应用内对模型进行微调，以持续提升应用性能。根据微调场景自动选择最佳的微调框架和模型切分策略。这不仅简化了模型迭代的维护工作，还让算法研究人员能更专注于算法和数据迭代，而无需处理繁琐的工程任务。

你可以用 LazyLLM 构建什么

LazyLLM 可用于构建常见的各种人工智能应用，以下是一些示例。

3.1 聊天机器人（ChatBots）

这是一个简单的聊天机器人示例：

# set environment variable: LAZYLLM_OPENAI_API_KEY=xx 
# or you can make a config file(~/.lazyllm/config.json) and add openai_api_key=xx
import lazyllm
chat = lazyllm.OnlineChatModule()
lazyllm.WebModule(chat).start().wait()

如果你想使用本地部署的模型，请确保至少安装了一个推理框架（lightllm 或 vllm），然后使用以下代码：

import lazyllm
# Model will be downloaded automatically if you have an internet connection.
chat = lazyllm.TrainableModule('internlm2-chat-7b')
lazyllm.WebModule(chat, port=23466).start().wait()

如果你通过 pip 安装了 lazyllm 并确保 Python 环境的 bin 目录在你的 $PATH 中，你可以通过执行 lazyllm run chatbot 快速启动一个聊天机器人。