Ai00-X/ai00_server

The all-in-one RWKV runtime box with embed, RAG, AI agents, and more.

aiaiagentschatgptchatgpt-apiembedllmopenaiopenai-apiragrwkv

GAI 中文摘要

ai00_server 是一个基于 Rust 开发的 RWKV 模型推理服务框架，旨在提供轻量、高效且开箱即用的本地大模型推理能力。它摆脱了对 PyTorch 和 CUDA 的依赖，通过 Vulkan 技术实现跨硬件平台的 GPU 加速，让各类显卡（包括 AMD 和集成显卡）都能流畅运行 RWKV 模型。

该项目完全兼容 OpenAI 的 ChatGPT API 接口，便于用户无缝对接现有的 AI 应用。

其核心推理引擎基于 web-rwkv，支持高效的并行与批量计算，确保推理性能与准确性。

无需安装复杂的运行时环境，下载即可快速部署并运行。

支持包括 AMD 显卡及集成显卡在内的所有 Vulkan 兼容设备，极大降低了硬件部署门槛。

该项目适用于寻求轻量化、本地化部署大模型的研究人员与开发者，非常适合用于构建聊天机器人、文本生成、翻译及问答系统等多种 AI 应用场景。

⭐

608

Stars

🔱

Forks

👁

Watchers

📋

Issues

RustMIT创建于 2023/7/10更新于 2 天前

在 GitHub 上查看访问主页

README

由 Gemini 翻译整理

💯AI00 RWKV Server

AI00 RWKV Server 是一个基于 web-rwkv 推理引擎的 RWKV 语言模型推理 API 服务器。

它支持 Vulkan 并行和并发批处理推理，并且可以在所有支持 Vulkan 的 GPU 上运行。无需 Nvidia 显卡！AMD 显卡甚至集成显卡都可以进行加速！

无需笨重的 pytorch、CUDA 及其他运行环境，它体积小巧，开箱即用！

兼容 OpenAI 的 ChatGPT API 接口。

采用 MIT 协议，100% 开源且可商用。

如果您正在寻找一款快速、高效且易于使用的 LLM API 服务器，那么 AI00 RWKV Server 是您的最佳选择。它可用于各种任务，包括聊天机器人、文本生成、翻译和问答等。

立即加入 AI00 RWKV Server 社区，体验 AI 的魅力！

交流 QQ 群：30920262

💥功能特性

基于 RWKV 模型，具有高性能和高准确性
支持 Vulkan 推理加速，无需 CUDA 即可享受 GPU 加速！支持 AMD 显卡、集成显卡以及所有支持 Vulkan 的 GPU
无需笨重的 pytorch、CUDA 及其他运行环境，体积小巧，开箱即用！
兼容 OpenAI 的 ChatGPT API 接口

⭕应用场景

聊天机器人
文本生成
翻译
问答
任何 LLM 可完成的任务

👻其他

基于 web-rwkv 项目
模型下载：V5, V6, V7

安装、编译与使用

📦下载预构建的可执行文件

从 Release 直接下载最新版本。
下载模型后，将模型放置在 assets/models/ 路径下，例如 assets/models/RWKV-x060-World-3B-v2-20240228-ctx4096.st。
可选：修改 assets/configs/Config.toml 以进行模型路径、量化层等配置。
在命令行运行：
```
$ ./ai00_rwkv_server
```
打开浏览器访问 WebUI：http://localhost:65530 （若开启 tls 则访问 https://localhost:65530）。

📜（可选）从源码构建

安装 Rust。

克隆本仓库：

$ git clone https://github.com/cgisky1980/ai00_rwkv_server.git
$ cd ai00_rwkv_server

下载模型后，将模型放置在 assets/models/ 路径下，例如 assets/models/RWKV-x060-World-3B-v2-20240228-ctx4096.st。
编译：
```
$ cargo build --release
```
编译完成后，运行：
```
$ cargo run --release
```
打开浏览器访问 WebUI：http://localhost:65530 （若开启 tls 则访问 https://localhost:65530）。

📒模型转换

目前仅支持扩展名为 .st 的 Safetensors 模型。使用 torch 保存的 .pth 扩展名模型在使用前需要进行转换。

下载 .pth 模型。
（推荐）运行 Python 脚本 convert_safetensors.py：
```
$ python assets/scripts/convert_safetensors.py --input /path/to/model.pth --output /path/to/model.st
```
要求：已安装 Python，并安装了 torch 和 safetensors 库。
如果不想安装 Python，可以在 Release 中找到名为 converter 的可执行文件，运行：
```
$ ./converter --input /path/to/model.pth --output /path/to/model.st
```

如果是从源码构建，请运行：

$ cargo run --release --package converter -- --input /path/to/model.pth --output /path/to/model.st

按照上述步骤，将转换好的 .st 模型放置在 assets/models/ 路径中，并在 assets/configs/Config.toml 中修改模型路径。

📝支持的参数

--config: 配置文件路径（默认：assets/configs/Config.toml）
--ip: 服务器绑定的 IP 地址
--port: 运行端口