chatchat-space/Langchain-Chatchat

Langchain-Chatchat（原Langchain-ChatGLM）基于 Langchain 与 ChatGLM, Qwen 与 Llama 等语言模型的 RAG 与 Agent 应用 | Langchain-Chatchat (formerly langchain-ChatGLM), local knowledge based LLM (like ChatGLM, Qwen and Llama) RAG and Agent app with langchain

chatbotchatchatchatglmchatgptembeddingfaissfastchatgptknowledge-baselangchainlangchain-chatglmllamallmmilvusollamaqwenragretrieval-augmented-generationstreamlitxinference

GAI 中文摘要

Langchain-Chatchat 是一个基于 Langchain 框架打造的开源知识库问答系统，旨在为用户提供一套可离线部署、高度适配中文语境的检索增强生成（RAG）及智能体（Agent）解决方案。该项目致力于解决企业或个人在私有化环境下，利用开源大语言模型构建安全、高效智能知识库的技术难题。

支持接入 ChatGLM、Qwen、Llama 等多种主流开源大语言模型，并兼容多种模型推理框架。内置完整的知识库管理功能，支持多种文档格式解析与向量化存储，实现精准的检索增强生成。提供灵活的智能体架构，能够通过工具调用增强模型的逻辑处理与复杂任务执行能力。具备高度的可扩展性，支持多种向量数据库与深度集成生态中的各类主流工具。

该项目适用于对数据隐私要求较高、需要构建私有化知识库的企业或研究机构，以及希望在本地离线环境下深入探索大语言模型应用开发的开发者与技术爱好者。

⭐

38.1k

Stars

🔱

6.2k

Forks

👁

290

Watchers

📋

Issues

PythonApache-2.0创建于 2023/3/31更新于今天

在 GitHub 上查看

README

由 Gemini 翻译整理

🌍 READ THIS IN ENGLISH

📃 LangChain-Chatchat (原 Langchain-ChatGLM)

基于 ChatGLM 等大语言模型与 Langchain 等应用框架实现，开源、可离线部署的 RAG 与 Agent 应用项目。

概述

🤖️ 一种利用 langchain 思想实现的基于本地知识库的问答应用，目标期望建立一套对中文场景与开源模型支持友好、可离线运行的知识库问答解决方案。

💡 受 GanymedeNil 的项目 document.ai 和 AlexZhangji 创建的 ChatGLM-6B Pull Request 启发，建立了全流程可使用开源模型实现的本地知识库问答应用。本项目的最新版本中可使用 Xinference、Ollama 等框架接入 GLM-4-Chat、 Qwen2-Instruct、 Llama3 等模型，依托于 langchain 框架支持通过基于 FastAPI 提供的 API 调用服务，或使用基于 Streamlit 的 WebUI 进行操作。

✅ 本项目支持市面上主流的开源 LLM、 Embedding 模型与向量数据库，可实现全部使用开源模型离线私有部署。与此同时，本项目也支持 OpenAI GPT API 的调用，并将在后续持续扩充对各类模型及模型 API 的接入。

⛓️ 本项目实现原理如下图所示，过程包括加载文件 -> 读取文本 -> 文本分割 -> 文本向量化 -> 问句向量化 -> 在文本向量中匹配出与问句向量最相似的 top k个 -> 匹配出的文本作为上下文和问题一起添加到 prompt中 -> 提交给 LLM生成回答。

📺 原理介绍视频

实现原理图

从文档处理角度来看，实现流程如下：

实现原理图2

🚩 本项目未涉及微调、训练过程，但可利用微调或训练对本项目效果进行优化。

🌐 [AutoDL 镜像](https://www.codewithgpu.com/

chatchat-space/Langchain-Chatchat

目录

概述