Swiftide

使用 Rust 构建快速、流式（streaming）的索引、查询以及智能体（Agentic）LLM 应用程序。

阅读更多请访问 swiftide.rs »

API Docs · 报告 Bug · 功能建议 · Discord

---

目录

• 什么是 Swiftide？
  • 主要特性
• 博客最新更新 :fire:
• 示例
• 愿景
• 功能
  • 详细说明
• 入门指南
  • 前提条件
  • 安装
• 用法与概念
  • 索引
  • 查询
• 贡献
• 核心团队成员
• 许可证

---

什么是 Swiftide？

Swiftide 是一个用于构建 LLM 应用程序的 Rust 库。从执行简单的 Prompt 补全，到构建快速、流式的索引和查询管道，再到构建能够使用工具并调用其他智能体的 Agent，它都能轻松应对。

主要特性

• 针对常见 LLM 任务的简单原语。
• 构建快速、流式的索引和查询管道。
• 轻松构建智能体，并与此前构建的管道混合使用。
• 模块化且可扩展的 API，抽象程度极低。
• 与主流 LLM 和存储提供商集成。
• 提供现成的管道转换功能，也支持自定义。
• 利用 Tasks 构建图形化工作流。
• 支持 Langfuse。

这是 bosun.ai 项目的一部分，该平台致力于实现自动化的代码改进。

[!CAUTION] Swiftide 正处于高速开发阶段，可能会存在破坏性更新。文档可能无法涵盖所有功能，且尽管我们尽了最大努力，内容仍可能略显滞后。建议随时关注我们的 GitHub 和 API 文档。如果你发现问题或有任何反馈，欢迎随时联系我们。

(回到顶部)

博客最新更新 :fire:

• Swiftide 0.31 - Tasks, Langfuse, Multi-Modal 等
• Swiftide 0.27 - 为智能体 AI 提供便捷的 Human-in-the-loop 流程
• Swiftide 0.26 - 流式智能体 (Streaming agents)
• Releasing kwaak with kwaak
• Swiftide 0.16 - Rust 编写的 AI 智能体
• 基于 LLM 的工具中使用 Rust 以提升性能
• 使用 Ragas 评估 Swiftide 管道 (2024-09-15)
• 发布 - Swiftide 0.12 (2024-09-13)
• 使用 Ollama, FastEmbed 和 OpenTelemetry 进行本地代码智能分析 (2024-09-04)

更多内容请访问我们的 博客。

(回到顶部)

示例

对本地代码项目进行索引，将其切分为小块，使用元数据丰富节点，并持久化到 Qdrant：

indexing::Pipeline::from_loader(FileLoader::new(".").with_extensions(&["rs"]))
        .with_default_llm_client(openai_client.clone())
        .filter_cached(Redis::try_from_url(
            redis_url,
            "swiftide-examples",
        )?)
        .then_chunk(ChunkCode::try_for_language_and_chunk_size(
            "rust",
            10..2048,
        )?)
        .then(MetadataQACode::default())
        .then(move |node| my_own_thing(node))
        .then_in_batch(Embed::new(openai_client.clone()))
        .then_store_with(
            Qdrant::builder()
                .batch_size(50)
                .vector_size(1536)
                .build()?,
        )
        .run()
        .await?;

查询有关如何使用查询管道的示例：

query::Pipeline::default()
    .then_transform_query(GenerateSubquestions::from_client(
        openai_client.clone(),
    ))
    .then_transform_query(Embed::from_client(
        openai_client.clone(),
    ))
    .then_retrieve(qdrant.clone())
    .then_answer(Simple::from_client(openai_client.clone()))
    .query("How can I use the query pipeline in Swiftide?")
    .await?;

运行一个能够搜索代码的智能体：

#[swiftide::tool(
    description 
    ...
)]

(回到顶部)

愿景

我们相信，构建高性能的 LLM 应用应当像使用现代编程语言编写代码一样直观且高效。Swiftide 的目标是消除在构建复杂 AI 系统时所遇到的性能瓶颈和集成阻力，充分利用 Rust 的内存安全和并发优势。

(回到顶部)

功能

详细说明

• 流式处理 (Streaming): 从输入到输出的完整流水线支持异步流，能够以最小的延迟响应用户。
• 模块化: 所有的组件（Loaders, Transformers, Storages, LLMs）均可自由组合。
• 生产就绪: 内置缓存、重试机制和可观测性支持（如 Langfuse 集成）。

(回到顶部)

入门指南

前提条件

• 安装 Rust (推荐使用最新稳定版)。
• 确保系统已安装必要的编译器依赖。

安装

在你的 Cargo.toml 中添加：

[dependencies]
swiftide = "0.31"

(回到顶部)

用法与概念

索引

索引管道通过 Loader 获取文档，通过 Transformers 处理（切分、丰富元数据、嵌入），最终通过 Storage 进行存储。

查询

查询管道将自然语言问题转化为一系列的检索任务，从向量数据库中获取上下文，最后生成答案。

(回到顶部)

贡献

欢迎通过 GitHub Issues 或 Pull Requests 提交贡献。在提交之前，请查看我们的贡献准则。

(回到顶部)

核心团队成员

• Bosun.ai 团队

(回到顶部)

许可证

本项目基于 MIT 许可证 开源。