[!WARNING]
该版本已超过一年未进行维护。我目前正在进行重构与重新发布，目前处于私人测试阶段，旨在收集反馈，以免因发布不完整软件而浪费大家的时间。如果您有兴趣加入测试，请联系我。

LLocalSearch

它是什么以及它的功能

LLocalSearch 是一个围绕本地运行的 Large Language Models（大语言模型，类似于 ChatGPT，但体积更小、能力相对较弱）构建的包装器，它允许模型从一组工具中进行选择。这些工具使模型能够搜索互联网以获取有关您问题的最新信息。这个过程是递归的，这意味着正在运行的 LLM 可以根据从您和其他工具调用中获得的信息，自由选择使用哪些工具（甚至可以多次使用）。

demo.webm

为什么选择它而不是其他类似项目？

OpenAI 正在向大型媒体机构兜售的长期计划是：

此外，该计划的成员将在聊天对话中获得优先展示权和“更丰富的品牌表达”，其内容将受益于更显著的链接处理方式。

如果您不喜欢被出价最高者操纵的想法，您或许可以尝试一些非歧视性的替代方案，例如本项目。

功能特点

• 🕵‍♀ 完全本地化（无需 API keys），因此更加尊重隐私。
• 💸 可以在“低端”硬件上运行（演示视频使用的是一张 300 欧元的 GPU）。
• 🤓 实时日志和答案中的链接让您能更好地理解 Agent 正在做什么，以及答案基于哪些信息。这为您深入研究提供了一个极佳的起点。
• 🤔 支持后续追问。
• 📱 适配移动端设计。
• 🌓 支持深色和浅色模式。

开发路线图

我目前正在进行的工作 👷

支持 LLama3 🦙

我所使用的 langchain 库无法正确识别 LLama3 的停止词（stop words），导致 LLama3 在回合结束时出现幻觉。我已经写好了一个补丁（请查看 experiments 分支），但由于我不确定这是否是解决该问题的最佳方案，我仍在等待 langchaingo 团队的回复。

界面大修 🌟

对界面进行全面重构，以支持更灵活的面板布局并更高效地利用空间。 灵感来源于 Obsidian 当前的布局。

支持聊天记录/近期对话 🕵‍♀

仍需要大量工作，例如重构内部数据结构，以便在未来能够更方便、灵活地扩展功能，而无需重写整个数据传输和接口部分。

计划（近期）

用户账户 🙆

为 RAG 链内部的私人信息打下基础，例如上传您自己的文档，或将 LLocalSearch 连接到 Google Drive、Confluence 等服务。

长期记忆 🧠

目前不确定实现这一功能的最佳方式，但目标是为核心 Agent 链提供有关用户的信息（如偏好设置），并为每个用户分配一个独立的 Vector DB 命名空间以存储持久化信息。

安装指南

Docker 🐳

1. 克隆 GitHub 仓库

git@github.com:nilsherzig/LLocalSearch.git
cd LLocalSearch

2. 创建并编辑 .env 文件（如果需要更改某些默认设置）。这通常仅在 Ollama 在其他设备上运行，或者您想要构建更复杂的设置（例如超出个人使用范围）时才需要。如果您在连接 Ollama 时遇到问题，请阅读 Ollama 设置指南。

touch .env
code .env # 使用 vscode 打开文件
nvim .env # 使用 neovim 打开文件

3. 运行容器

docker-compose up -d