AutoWebGLM：基于大语言模型的网页导航智能体

这是 AutoWebGLM 的官方实现。如果您觉得我们的开源工作对您有所帮助，请为该仓库点个 🌟 以鼓励我们后续的开发！

概览

AutoWebGLM 是一个旨在构建更高效、由大语言模型驱动的自动化网页导航智能体的项目。本项目基于 ChatGLM3-6B 模型构建，扩展了其网页导航能力，使其能够更有效地应对现实世界中的浏览挑战。

特性

• HTML 简化算法：受人类浏览模式的启发，我们设计了一种 HTML 简化算法，在保留关键信息的同时，使网页内容更易于被 LLM 智能体理解。
• 人机混合训练：我们结合人类和 AI 的知识来构建网页浏览数据进行课程学习，从而增强模型的实际导航技能。
• 强化学习与拒绝采样：通过强化学习和拒绝采样进行引导，我们提升了模型对网页的理解能力、浏览器操作能力以及高效的任务拆解能力。
• 双语网页导航基准测试：我们推出了 AutoWebBench——一个针对现实世界网页浏览任务的双语（中英文）基准测试。该基准为测试和优化 AI 网页导航智能体的能力提供了强有力的工具。

评估

我们已公开了评估代码、数据和环境。您可以使用以下代码进行实验。

AutoWebBench 与 Mind2Web

您可以在 AutoWebBench 和 Mind2Web 中找到我们的评估数据集。 有关进行模型推理的代码，请参考 ChatGLM3-6B。 获得输出文件后，可以通过 python eval.py [result_path] 获取分数。

WebArena

我们对 WebArena 环境进行了修改以适配我们系统的交互方式；请参考 WebArena。修改内容及执行说明可在其 README 中找到。

MiniWob++

我们也对 MiniWob++ 环境进行了修改，请参考 MiniWob++。修改内容及执行说明可在其 README 中找到。

许可证

本仓库采用 Apache-2.0 License 协议。所有开源数据仅用于研究目的。

引用

如果您在研究中使用了本代码，请引用我们的论文：

@inproceedings{lai2024autowebglm,
    author = {Lai, Hanyu and Liu, Xiao and Iong, Iat Long and Yao, Shuntian and Chen, Yuxuan and Shen, Pengbo and Yu, Hao and Zhang, Hanchen and Zhang, Xiaohan and Dong, Yuxiao and Tang, Jie},
    title = {AutoWebGLM: A Large Language Model-based Web Navigating Agent},
    booktitle = {Proceedings of the 30th ACM SIGKDD Conference on Knowledge Discovery and Data Mining},
    pages = {5295–-5306},
    year = {2024}
}