heshengtao/comfyui_LLM_party

bilibili · youtube · 图文教程 · 网盘地址 · QQ 群 · discord · 关于我们

Comfyui_llm_party 旨在开发一套完整的节点，以 comfyui 为前端构建 LLM 工作流。它允许用户快速、便捷地构建自己的 LLM 工作流，并轻松将其集成到现有的图像工作流中。

效果展示

https://github.com/user-attachments/assets/945493c0-92b3-4244-ba8f-0c4b2ad4eba6

项目概览

ComfyUI LLM Party 涵盖了从最基础的 LLM 多工具调用、角色设定以快速构建专属 AI 助手，到行业特定的词向量 RAG 和 GraphRAG 以实现行业知识库的本地化管理；从单一 Agent 流水线，到构建复杂的 Agent 间放射状交互模式和环状交互模式；从个人用户所需的社交 APP（QQ、飞书、Discord）接入，到流媒体从业者所需的一站式 LLM + TTS + ComfyUI 工作流；从普通学生所需的第一个 LLM 应用的简易启动，到科研人员常用的各种参数调试接口及模型适配。所有这些，你都能在 ComfyUI LLM Party 中找到答案。

快速开始

0. 如果你从未使用过 ComfyUI，并且在安装 LLM party 时遇到依赖问题，请点击此处下载包含 LLM party 的 Windows 便携包。请注意，该便携包仅包含 party 和 manager 插件，且仅适配 Windows 操作系统。（如果你需要将 LLM party 安装到现有的 ComfyUI 中，此步骤可跳过。）
1. 将以下工作流拖入你的 ComfyUI，然后使用 comfyui-Manager 安装缺失的节点。
   • 使用 API 调用 LLM: start_with_LLM_api
   • 使用 aisuite 调用 LLM: start_with_aisuite
   • 通过 Ollama 管理本地 LLM: start_with_Ollama
   • 以分布式格式使用本地 LLM: start_with_LLM_local
   • 以 GGUF 格式使用本地 LLM: start_with_LLM_GGUF
   • 以分布式格式使用本地 VLM: start_with_VLM_local (目前支持 Llama-3.2-Vision/Qwen/Qwen2.5-VL/deepseek-ai/Janus-Pro。)
   • 以 GGUF 格式使用本地 VLM: start_with_VLM_GGUF
   • 利用 API 调用 LLM 生成 SD 提示词及图像: start_with_VLM_API_for_SD
   • 使用 Ollama 调用 minicpm 生成 SD 提示词及图像: start_with_ollama_minicpm_for_SD
   • 利用本地 qwen-vl 生成 SD 提示词及图像: start_with_qwen_vl_local_for_SD
2. 如果使用 API，请在 API LLM 加载器节点中填写你的 base_url（可以是中转 API，确保以 /v1/ 结尾，例如 https://api.openai.com/v1/）和 api_key。
3. 如果使用 Ollama，请开启 API LLM 加载器节点中的 is_ollama 选项，无需填写 base_url 和 api_key。
4. 如果使用本地模型，请在本地模型加载器节点中填写模型路径，例如 E:\model\Llama-3.2-1B-Instruct。你也可以在本地模型加载器节点中填写 Huggingface 模型仓库 ID，例如 lllyasviel/omost-llama-3-8b-4bits。
5. 由于本项目使用门槛较高，即使你选择了快速开始，也建议耐心地阅读项目主页的全部内容。

最新更新

1. LLM API 节点现已实现流式输出模式，能够实时在控制台显示 API 返回的文本，让你无需等待整个请求完成即可看到实时输出。
2. LLM API 节点新增了 reasoning_content 输出，可以自动分离 R1 模型的推理过程与回答内容。
3. 仓库新增了一个名为 only_api 的分支，仅包含 API 调用组件。这专为仅需 API 调用功能的用户设计。要使用此分支，只需在 comfyui 的 custom node 文件夹中执行 git clone -b only_api https://github.com/heshengtao/comfyui_LLM_party.git 命令，然后按照环境部署指南进行操作。