🧰 AI Agent Service Toolkit

这是一个用于运行 AI Agent 服务的完整工具包，基于 LangGraph、FastAPI 和 Streamlit 构建。

它包含一个 LangGraph Agent、一个用于提供服务的 FastAPI 服务、一个与服务交互的客户端，以及一个使用该客户端提供聊天界面的 Streamlit 应用。数据结构和设置均基于 Pydantic 构建。

本项目为开发者提供了一个模板，方便使用 LangGraph 框架轻松构建和运行自己的 Agent。它展示了从 Agent 定义到用户界面的完整设置，通过提供一个稳健的工具包，让基于 LangGraph 的项目开发更容易上手。

🎥 观看仓库和应用演示视频

概述

立即体验应用！

快速开始

在 Python 中直接运行：

# 至少需要一个 LLM API 密钥
echo 'OPENAI_API_KEY=your_openai_api_key' >> .env

# uv 是推荐的安装方式，但 "pip install ." 同样有效
# 查看 uv 安装选项，请访问: https://docs.astral.sh/uv/getting-started/installation/
curl -LsSf https://astral.sh/uv/0.7.19/install.sh | sh

# 安装依赖。"uv sync" 会自动创建 .venv
uv sync --frozen
source .venv/bin/activate
python src/run_service.py

# 在另一个终端中
source .venv/bin/activate
streamlit run src/streamlit_app.py

使用 Docker 运行：

echo 'OPENAI_API_KEY=your_openai_api_key' >> .env
docker compose watch

架构图

(此处应包含架构图)

核心功能

1. LangGraph Agent 及最新特性：使用 LangGraph 框架构建的可定制 Agent。实现了最新的 LangGraph v1.0 特性，包括通过 interrupt() 实现的人机协同（Human-in-the-loop）、通过 Command 实现的流控制、通过 Store 实现的长期记忆，以及 langgraph-supervisor。
2. FastAPI 服务：提供支持流式（streaming）和非流式（non-streaming）响应的 Agent 服务端点。
3. 高级流式传输：一种支持基于 Token 和基于消息流式传输的创新方法。
4. Streamlit 界面：提供用户友好的聊天界面以与 Agent 交互，包括语音输入和输出。
5. 多 Agent 支持：在服务中运行多个 Agent 并通过 URL 路径进行调用。可用 Agent 和模型信息详见 /info 接口。
6. 异步设计：利用 async/await 机制高效处理并发请求。
7. 内容审核：实现了 Safeguard 用于内容审核（需要 Groq API 密钥）。
8. RAG Agent：使用 ChromaDB 实现的基础 RAG Agent - 详见 文档。
9. 反馈机制：集成了基于星级的反馈系统，并与 LangSmith 对接。
10. Docker 支持：包含 Dockerfile 和 docker compose 文件，便于开发和部署。
11. 测试：为整个仓库提供了完善的单元测试和集成测试。

核心文件

仓库结构如下：

• src/agents/: 定义了多个具有不同功能的 Agent
• src/schema/: 定义了协议 Schema
• src/core/: 核心模块，包括 LLM 定义和设置
• src/service/service.py: 用于提供 Agent 服务的 FastAPI 服务
• src/client/client.py: 与 Agent 服务交互的客户端
• src/streamlit_app.py: 提供聊天界面的 Streamlit 应用
• tests/: 单元测试和集成测试

设置与使用

1. 克隆仓库：

   git clone https://github.com/JoshuaC215/agent-service-toolkit.git
   cd agent-service-toolkit
   

2. 设置环境变量： 在根目录下创建一个 .env 文件。至少需要一个 LLM API 密钥或配置。查看 .env.example 文件 获取完整的可用环境变量列表，包括各种模型供应商的 API 密钥、基于 Header 的身份验证、LangSmith 追踪、测试与开发模式设置，以及 OpenWeatherMap API 密钥。

3. 现在你可以运行该应用了。