heshengtao/comfyui_LLM_party

bilibili · youtube · 图文教程 · 网盘地址 · QQ群 · discord · 关于我们

简介

ComfyUI_LLM_Party 旨在开发一套基于 ComfyUI 作为前端的完整 LLM 工作流构建节点集合。它使用户能够快速、便捷地构建自己的 LLM 工作流，并轻松将其集成到现有的图像工作流中。

效果展示

https://github.com/user-attachments/assets/945493c0-92b3-4244-ba8f-0c4b2ad4eba6

项目概述

ComfyUI LLM Party 涵盖了从最基础的 LLM 多工具调用、角色设定以快速构建专属 AI 助手，到特定行业的词向量 RAG 和 GraphRAG 以实现行业知识库的本地化管理；从单一 Agent 流水线，到构建复杂的 Agent-Agent 放射状交互模式和环形交互模式；从个人用户所需的社交 APP（QQ、飞书、Discord）接入，到流媒体从业者所需的一站式 LLM + TTS + ComfyUI 工作流；从普通学生所需的第一个 LLM 应用的简单启动，到科研人员常用的各种参数调试接口和模型适配。所有这些，你都能在 ComfyUI LLM Party 中找到答案。

快速开始

0. 如果你从未接触过 ComfyUI，且在安装 LLM Party 时遇到依赖问题，请点击这里下载包含 LLM Party 的 Windows 便携版包。请注意，此便携包仅包含 Party 和 Manager 插件，且仅适配 Windows 操作系统。（如果你需要将 LLM Party 安装到现有的 ComfyUI 中，此步骤可跳过。）
1. 将以下工作流拖入你的 ComfyUI，然后使用 ComfyUI-Manager 安装缺失的节点。

• 使用 API 调用 LLM: start_with_LLM_api
• 使用 aisuite 调用 LLM: start_with_aisuite
• 使用 Ollama 管理本地 LLM: start_with_Ollama
• 使用分布式格式的本地 LLM: start_with_LLM_local
• 使用 GGUF 格式的本地 LLM: start_with_LLM_GGUF
• 使用分布式格式的本地 VLM: start_with_VLM_local (目前支持 Llama-3.2-Vision/Qwen/Qwen2.5-VL/deepseek-ai/Janus-Pro。)
• 使用 GGUF 格式的本地 VLM: start_with_VLM_GGUF
• 利用 API 调用 LLM 生成 SD 提示词和图像: start_with_VLM_API_for_SD
• 使用 Ollama 调用 minicpm 生成 SD 提示词和图像: start_with_ollama_minicpm_for_SD
• 使用本地 qwen-vl 生成 SD 提示词和图像: start_with_qwen_vl_local_for_SD

2. 如果你正在使用 API，请在 API LLM 加载节点中填写你的 base_url（可以是转发 API，确保以 /v1/ 结尾），例如 https://api.openai.com/v1/ 以及 api_key。
3. 如果你正在使用 Ollama，请在 API LLM 加载节点中开启 is_ollama 选项，无需填写 base_url 和 api_key。
4. 如果你正在使用本地模型，请在本地模型加载节点中填写你的模型路径，例如 E:\model\Llama-3.2-1B-Instruct。你也可以在本地模型加载节点中填写 Huggingface 模型仓库 ID，例如 lllyasviel/omost-llama-3-8b-4bits。
5. 由于本项目使用门槛较高，即使你选择了快速开始，也希望你能耐心通读项目主页。

最新更新

1. LLM API 节点现已实现流式输出模式，它将实时在控制台显示 API 返回的文本，让你无需等待整个请求完成即可看到 API 的输出。
2. LLM API 节点增加了 reasoning_content 输出，可以自动分离 R1 模型的推理过程与回答内容。
3. 仓库新增了一个名为 only_api 的分支，仅包含 API 调用组件。这是专为仅需要 API 调用功能的用户设计的。要使用此分支，只需在 ComfyUI 的 custom node 文件夹中执行命令 git clone -b only_api https://github.com/heshengtao/comfyui_LLM_party.git，然后按照环境部署说明操作。