ChatPDF

基于本地 LLM 的检索知识问答 (RAG) 系统。

• 根据文件内容进行回答
• 开源模型支持
• 本地部署 LLM

介绍

• 本项目实现了轻量版的 GraphRAG：
  • 支持 local 模式的关系图检索文档问答。
  • 支持 OpenAI API、Deepseek API、Ollama API 等，可自行扩展支持更多 LLM。
  • 支持 OpenAI embedding、本地 text2vec embedding、huggingface embedding、sentence-transformers embedding 等。
  • 异步开发，支持多个 API 并发请求。
• 本项目支持多种开源 LLM 模型，包括 Qwen/DeepSeek 等。
• 本项目支持多种文件格式，包括 PDF、docx、markdown、txt 等。
• 本项目优化了 RAG 准确率：
  • Chinese chunk 切分优化：适配中英文混合文档。
  • Embedding 优化：使用 text2vec 的 sentence embedding，支持 sentence embedding/字面相似度匹配算法。
  • 检索匹配优化：引入基于 jieba 分词的 rank_BM25，提升对 query 关键词的字面匹配；使用“字面相似度 + sentence embedding 向量相似度”加权获取 corpus 候选集。
  • 新增 Reranker 模块：对字面+语义检索的候选集进行 Rerank 排序，减少候选集数量，并提升候选命中准确率，可通过 rerank_model_name_or_path 参数设置 rerank 模型。
  • 新增候选 chunk 扩展上下文功能：可通过 num_expand_context_chunk 参数设置命中候选 chunk 的上下文窗口大小。
  • RAG 底模优化：支持 200k 上下文的 RAG 微调 LLM 模型，支持自定义 RAG 模型，可通过 generate_model_name_or_path 参数设置底模。
• 本项目基于 Gradio 开发了 RAG 对话页面，支持流式对话。

原理

(此处原 README 原理占位图未显示，建议查看 GitHub 原仓库)

使用方法

安装依赖

在终端中输入下面的命令并回车：

pip install -r requirements.txt

如果您在使用 Windows，建议通过 WSL 在 Linux 上运行。如果您没有安装 CUDA，并且不想仅使用 CPU 运行大模型，请先安装 CUDA。

如果下载速度较慢，建议配置豆瓣源。

RAG 示例

请使用下面的命令。根据你的系统环境，你可能需要使用 python 或 python3 命令。请确保已经安装了 Python。

CUDA_VISIBLE_DEVICES=0 python rag.py

输出示例：

prompt: 基于以下已知信息，用专业知识回答用户的问题。用简体中文回答。

已知内容:
[1]	 "ReferencesPeter F Brown, John Cocke, Stephen A Della Pietra, Vincent J Della Pietra, Fredrick Jelinek, John DLafferty, Robert L Mercer, and Paul S Roossin. A statistical 
[2]	 "Let be an encoder that infers the content zfor a given sentence xand a styley
...

问题:
自然语言中的非平行迁移是指什么？

---
回答:
自然语言中的非平行迁移是指在文本生成任务中，我们只能假设访问到非平行或单语的文本数据。这类任务包括翻译和摘要，其中所有问题都涉及这类任务。 
['[1]\t "ReferencesPeter F Brown, John Cocke, Stephen A Della Pietra, Vincent J Della Pietra, Fredrick Jelinek, John DLafferty, Robert L Mercer, and Paul S Roossin. A statistical approach to machine translation.Computational linguistics 
'[2]\t "LetE:X\x02Y!Z be an encoder that infers the content zfor a given sentence xand a styley, andG:Y\x02Z!X be a generator that generates a sentence xfrom a given style yand contentz.EandGform an auto-encoder ', 
...
]

启动 Gradio Web 服务

python webui.py

现在，你应该可以在浏览器地址栏输入 http://localhost:8082 查看并使用 ChatPDF 了。

GraphRAG 示例

[!TIP]

请在环境变量中设置 OpenAI API Key: export OPENAI_API_KEY="sk-..."。

如果你没有 LLM Key，可以查看此 graphrag._model.py 文件，其中使用了 ollama。

python graphrag_demo.py

联系方式

• Issue (建议)：
• 邮箱：xuming: xuming624@qq.com
• 微信：加我微信号 xuming624，备注“姓名-公司-NLP”进 NLP 交流群。

许可证

授权协议为 The Apache License 2.0，可免费用于商业用途。请在产品说明中附加 ChatPDF 的链接和授权协议。

贡献

本项目代码目前仍较为粗糙，如果大家对代码有改进建议，欢迎提交 Pull Request。

关联项目推荐

• shibing624/MedicalGPT：训练自己的 GPT 大模型，实现了包括增量预训练、有监督微调、RLHF（奖励建模、强化学习训练）和 DPO（直接偏好优化）。