[!WARNING]
该版本已停止维护超过一年。我目前正在进行重构/重启，相关工作处于私人测试阶段——旨在收集反馈，同时避免发布未完成的软件浪费大家的时间。如果您有兴趣参与，请与我联系。

LLocalSearch

它是什么以及它的功能

LLocalSearch 是一个运行在本地的 Large Language Models（类似于 ChatGPT，但体积更小且“智能”程度略低）的封装器，它允许模型从一组工具中进行选择。这些工具可以让模型在互联网上搜索有关您问题的最新信息。这个过程是递归的，这意味着运行中的 LLM 可以根据从您那里以及从其他工具调用中获取的信息，自由选择使用工具（甚至多次使用）。

demo.webm

为什么选择这个项目而不是其他 xy 产品？

OpenAI 正在向大型媒体机构兜售的长期计划是：

此外，该计划的成员在聊天对话中会获得优先展示和“更丰富的品牌表达”，其内容也会受益于更显著的链接处理。

如果您不喜欢被出价最高者操纵的想法，您或许可以尝试一些非歧视性的替代方案，例如本项目。

功能特性

• 🕵‍♀ 完全本地化（无需 API keys），因此更加注重隐私保护。
• 💸 可在“低端”硬件上运行（演示视频使用的是一张 300 欧元的 GPU）。
• 🤓 实时日志和答案中的链接让您能更好地了解 Agent 的操作过程及答案的来源依据，为深入研究提供了极佳的起点。
• 🤔 支持追问。
• 📱 移动端友好设计。
• 🌓 支持深色和浅色模式。

路线图

目前正在开发 👷

支持 LLama3 🦙

我所使用的 langchain 库对 LLama3 的停止词（stop words）支持不佳，导致 LLama3 在回答结束时会出现幻觉。我已有一个可行的补丁（请查看 experiments 分支），但由于我不确定这是否是解决此问题的正确方法，目前仍在等待 langchaingo 团队的回复。

界面大修 🌟

对界面进行全面优化，以实现更灵活的面板布局并更有效地利用空间。其灵感来源于 Obsidian 的当前布局。

支持聊天记录/近期对话 🕵‍♀

仍需大量工作，例如重构内部数据结构，以允许在未来更灵活地扩展功能，而无需重写整个数据传输和接口部分。

计划中（近期）

用户账户 🙆

为 RAG 链中的私人信息打下基础，例如上传您自己的文档，或将 LLocalSearch 连接到 Google Drive 或 Confluence 等服务。

长期记忆 🧠

目前尚不确定实现此功能的最佳方式，但计划为核心 Agent 链提供关于用户的信息（如偏好设置），并为每个用户配置独立的 Vector DB 命名空间以存储持久化信息。

安装指南

Docker 🐳

1. 克隆 GitHub 仓库

git@github.com:nilsherzig/LLocalSearch.git
cd LLocalSearch

2. 创建并编辑 .env 文件（如果需要更改某些默认设置）。这通常仅在 Ollama 运行在其他设备上，或者您想构建更复杂的配置（例如用于个人使用以外的场景）时才需要。如果您在配置 Ollama 连接时遇到困难，请阅读 Ollama Setup Guide。

touch .env
code .env # 使用 vscode 打开文件
nvim .env # 使用 neovim 打开文件

3. 运行容器

docker-compose up -d