🚀 LLMOps - 端到端 LLM 运维平台

English | 中文

🌐 在线演示: http://82.157.66.198/

📚 项目文档: https://deepwiki.com/Haohao-end/LMForge-End-to-End-LLMOps-Platform-for-Multi-Model-Agents

📖 API 文档: https://s.apifox.cn/c76bd530-fd50-429c-94cc-f0e41c2675d1/api-305434417

---

📋 目录

• 概述
• 核心功能
• 系统架构
• 快速开始
• 部署指南
• 配置说明
• 文档
• 许可证

---

🎯 概述

LLMOps 是一个综合性平台，旨在构建、部署和管理集成多种 LLM 提供商的 AI Agent 应用程序。它采用 Python Flask 后端配合 LangChain/LangGraph 进行编排，并配备 Vue 3 前端，能够实现智能 Agent 工作流的无缝开发。

🌟 核心亮点

• 🤖 多 Agent 系统: 利用 LangGraph 构建复杂的 AI Agent
• 🔄 可视化工作流构建器: 支持拖拽式工作流设计
• 🧠 多 LLM 支持: 支持 OpenAI、DeepSeek、Claude、月之暗面 (Moonshot)、千帆 (Qianfan) 等
• 📊 RAG 集成: 使用 Weaviate 向量数据库进行知识检索
• 🔧 内置工具: 20+ 预置工具（搜索、天气、地图等）
• 🔐 企业级安全: 支持 OAuth、JWT、基于角色的访问控制 (RBAC)
• 📈 实时分析: 监控 Agent 性能与调用统计
• 🐳 Docker 就绪: 通过 Docker Compose 实现一键部署

---

✨ 核心功能

🤖 AI Agent 开发

• Function Call Agent: 通过 LLM 直接调用函数
• ReAct Agent: 集成工具进行推理与行动
• 自定义 Agent: 支持构建特定类型的 Agent
• Agent 队列管理: 处理并发的 Agent 请求

🔄 工作流系统

• 可视化编辑器: 拖拽式工作流构建
• 节点类型: LLM、工具、知识检索、代码执行、If-Else 分支等
• DAG 执行: 基于有向无环图的工作流引擎
• 实时流式传输: 基于 SSE 的流式响应

🧠 知识管理

• 数据集管理: 上传并管理各类文档
• 向量存储: 集成 Weaviate 实现语义搜索
• 多种格式: 支持 PDF、DOCX、TXT、Markdown 等格式
• 分块策略: 支持可配置的文本切分策略

🔧 内置工具

• 搜索: Google Serper, SerpAPI, Tavily AI
• 天气: OpenWeatherMap
• 地图: 高德地图 API
• 新闻: News API
• 计算: Wolfram Alpha
• 代码: GitHub 集成
• 图像生成: Stability AI
• 自定义工具: 基于 API 的工具集成

---

🏗️ 系统架构

┌─────────────────────────────────────────────────────────────┐
│                         Frontend (Vue 3)                     │
│  ┌──────────┐  ┌──────────┐  ┌──────────┐  ┌──────────┐   │
│  │  Agent   │  │ Workflow │  │ Dataset  │  │  Tools   │   │
│  │  Builder │  │  Editor  │  │ Manager  │  │ Manager  │   │
│  └──────────┘  └──────────┘  └──────────┘  └──────────┘   │
└─────────────────────────────────────────────────────────────┘
                            ↕ HTTP/SSE
┌─────────────────────────────────────────────────────────────┐
│                      Backend (Flask + Celery)                │
│  ┌──────────────────────────────────────────────────────┐  │
│  │              API Layer (Flask)                        │  │
│  │  Handler → Service → Model → Database                │  │
│  └──────────────────────────────────────────────────────┘  │
│  ┌──────────────────────────────────────────────────────┐  │
│  │         Core Engine (LangChain/LangGraph)            │  │
│  │  ┌──────────┐  ┌──────────┐  ┌──────────┐          │  │
│  │  │  Agent   │  │ Workflow │  │   RAG    │          │  │
│  │  │  Engine  │  │  Engine  │  │  Engine  │          │  │
│  │  └──────────┘  └──────────┘  └──────────┘          │  │
│  └──────────────────────────────────────────────────────┘  │
│  ┌──────────────────────────────────────────────────────┐  │
│  │         Background Tasks (Celery)                     │  │
│  │  Document Indexing, Email Sending, etc.              │  │
│  └──────────────────────────────────────────────────────┘  │
└─────────────────────────────────────────────────────────────┘
                            ↕
┌─────────────────────────────────────────────────────────────┐
│                    Infrastructure                            │
│  ┌──────────┐  ┌──────────┐  ┌──────────┐  ┌──────────┐   │
│  │PostgreSQL│