Awesome GUI Agent

精选的多模态图形用户界面（GUI）Agent 的论文、项目与资源列表。

(注：在屏幕上构建数字助理。由 DALL-E-3 生成。)

欢迎贡献！

🔥 本项目处于活跃维护状态，非常欢迎您的贡献。如果您有任何建议，例如发现缺失的论文或信息，请随时提交 Issue 或 Pull Request。

🤖 尝试使用我们的 Awesome-Paper-Agent。只需提供 arXiv URL 链接，它就会自动返回格式化后的信息，如下所示：

User:
https://arxiv.org/abs/2312.13108

GPT:
+ [AssistGUI: Task-Oriented Desktop Graphical User Interface Automation](https://arxiv.org/abs/2312.13108) (Dec. 2023)

  [![Star](https://img.shields.io/github/stars/showlab/assistgui.svg?style=social&label=Star)](https://github.com/showlab/assistgui)
  [![arXiv](https://img.shields.io/badge/arXiv-b31b1b.svg)](https://arxiv.org/abs/2312.13108)
  [![Website](https://img.shields.io/badge/Website-9cf)](https://showlab.github.io/assistgui/)

这样您就可以轻松复制这些信息并用于您的 Pull Request 中。

⭐ 如果您觉得此仓库有帮助，请给个 Star。

---

快速导航: [数据集 / 基准测试] [模型 / Agent] [综述] [项目]

数据集 / 基准测试

• World of Bits: An Open-Domain Platform for Web-Based Agents (2017年8月, ICML 2017)

  

• A Unified Solution for Structured Web Data Extraction (2011年7月, SIGIR 2011)

  

• Rico: A Mobile App Dataset for Building Data-Driven Design Applications (2017年10月)

  

• Reinforcement Learning on Web Interfaces using Workflow-Guided Exploration (2018年2月, ICLR 2018)

  

• Mapping Natural Language Instructions to Mobile UI Action Sequences (2020年5月, ACL 2020)

  

• WebSRC: A Dataset for Web-Based Structural Reading Comprehension (2021年1月, EMNLP 2021)

  

• AndroidEnv: A Reinforcement Learning Platform for Android (2021年5月)

  

• A Dataset for Interactive Vision-Language Navigation with Unknown Command Feasibility (2022年2月)

  

• META-GUI: Towards Multi-modal Conversational Agents on Mobile GUI (2022年5月)

  

• WebShop: Towards Scalable Real-World Web Interaction with Grounded Language Agents (2022年7月)

  

• Language Models can Solve Computer Tasks (2023年3月)