MindSearch

📃 论文 | 💻 在线演示

English | 简体中文

✨ MindSearch: 模拟人类思维激发深度 AI 搜索能力

📅 更新日志

• 2024/11/05: 🥳 MindSearch 已在浦语（Puyu）平台上线！👉 立即体验 👈
  • 基于 Lagent v0.5 重构了 agent 模块，以实现更好的并发性能。
  • 优化了用户界面，以支持同步多查询搜索。

⚽️ 构建你自己的 MindSearch

第一步：安装依赖

git clone https://github.com/InternLM/MindSearch
cd MindSearch
pip install -r requirements.txt

第二步：配置环境变量

在配置 API 之前，需要设置环境变量。将 .env.example 文件重命名为 .env 并填入所需的值。

mv .env.example .env
# 打开 .env 文件并添加你的密钥和模型配置

第三步：设置 MindSearch API

配置 FastAPI 服务器：

python -m mindsearch.app --lang en --model_format internlm_server --search_engine DuckDuckGoSearch --asy 

• --lang: 模型语言，en 表示英语，cn 表示中文。

• --model_format: 模型格式。

  • internlm_server: 使用本地服务器运行 InternLM2.5-7b-chat（InternLM2.5-7b-chat 已针对中文进行了优化）。
  • gpt4: 使用 GPT4。 如果想使用其他模型，请修改 models。

• --search_engine: 搜索引擎。

  • DuckDuckGoSearch: 使用 DuckDuckGo 搜索引擎。
  • BingSearch: 使用 Bing 搜索引擎。
  • BraveSearch: 使用 Brave Search Web API 引擎。
  • GoogleSearch: 使用 Google Serper Web Search API 引擎。
  • TencentSearch: 使用腾讯搜索 API 引擎。

  除 DuckDuckGo 外，请将你的 Web Search API 密钥设置为环境变量 WEB_SEARCH_API_KEY。如果使用 TencentSearch，则需要分别设置 TENCENT_SEARCH_SECRET_ID 和 TENCENT_SEARCH_SECRET_KEY。

• --asy: 部署异步 agents。

第四步：设置 MindSearch 前端

提供以下前端接口：

• React

首先为 Vite 代理配置后端 URL。

HOST="127.0.0.1"  # 根据需要修改
PORT=8002
sed -i -r "s/target:\s*\"\"/target: \"${HOST}:${PORT}\"/" frontend/React/vite.config.ts

# 安装 Node.js 和 npm
# Ubuntu 系统
sudo apt install nodejs npm

# Windows 系统
# 从 https://nodejs.org/zh-cn/download/prebuilt-installer 下载

# 安装依赖
cd frontend/React
npm install
npm start

详细信息请参考 React。

• Gradio

python frontend/mindsearch_gradio.py

• Streamlit

streamlit run frontend/mindsearch_streamlit.py

🌐 更改 Web Search API

要使用不同类型的 Web Search API，请修改 mindsearch/agent/__init__.py 中 searcher_cfg 的 searcher_type 属性。目前支持的 Web Search API 包括：

• GoogleSearch
• DuckDuckGoSearch
• BraveSearch
• BingSearch
• TencentSearch

例如，要切换到 Brave Search API，配置如下：

BingBrowser(
    searcher_type='BraveSearch',
    topk=2,
    api_key=os.environ.get('BRAVE_API_KEY', 'YOUR BRAVE API')
)

🐞 在没有前端的情况下使用后端

对于喜欢直接与后端交互的用户，可以使用 backend_example.py 脚本。该脚本演示了如何向后端发送查询并处理响应。

python backend_example.py

执行脚本前，请确保已设置好环境变量且后端正在运行。

🐞 本地调试

python -m mindsearch.terminal

📝 许可证

本项目采用 Apache 2.0 许可证 开源。

引用

如果本项目对你的研究有帮助，请考虑引用：

@article{chen2024mindsearch,
  title={MindSearch: Mimicking Human Minds Elicits Deep AI Searcher},
  author={Chen, Zehui and Liu, Kuikun and Wang, Qiuchen and Liu, Jiangning and Zhang, Wenwei and Chen, Kai and Zhao, Feng},
  journal={arXiv preprint arXiv:2407.20183},
  year={2024}
}

我们的其他项目

探索我们在大语言模型领域的更多研究，重点关注 LLM Agents：

• Lagent: 一个构建基于 LLM 的 agents 的轻量级框架。
• AgentFLAN: 一种用于构建和训练高质量 agent 数据集的创新方法 (ACL 2024 Findings)。
• T-Eval: 一个细粒度的工具使用评估基准 (ACL 2024)。