ACU - Awesome Agents for Computer Use (计算机使用智能体精选)

ACU - 计算机使用智能体（Agents for Computer Use）资源精选

计算机使用智能体（AI Agent for Computer Use）是一种自主程序，能够针对任务进行推理、规划动作序列，并通过点击、键盘输入、其他计算机事件、命令行操作以及内部/外部 API 调用等形式在计算机或移动设备环境中执行操作。这些智能体结合了感知、决策和控制能力，能够独立与数字界面交互并达成用户设定的目标。

这是一个关于计算机使用 AI 智能体的精选资源列表，涵盖了研究论文、项目、框架和工具。

文章

论文

综述

AI Agents for Computer Use: A Review of Instruction-based Computer Control, GUI Automation, and Operator Assistants (2025年1月)
- 全面综述，从环境、交互和智能体视角建立了计算机控制智能体（CCAs）的分类法，分析了 86 个 CCA 和 33 个数据集。
GUI Agents: A Survey (2024年12月)
- 关于 GUI 智能体的综合综述。
Large Language Model-Brained GUI Agents: A Survey (2024年11月)
- 专注于基于 LLM 的方法。
- 网站
GUI Agents with Foundation Models: A Comprehensive Survey (2024年11月)
- 基于基础模型的 GUI 智能体综合概述。

框架与模型

Reinforcement Learning for Long-Horizon Interactive LLM Agents (2025年2月)
- 一种用于在目标环境中直接训练 IDA 的新型强化学习方法 (LOOP)。
- 32B 参数的智能体在 AppWorld 任务上比 OpenAI o1 表现高出 9 个百分点。
Large Action Models: From Inception to Implementation (2024年12月)
- 开发大动作模型（LAMs）的综合框架，使其能够执行超出语言生成范围的现实世界操作。
- 详细介绍了数据收集、模型训练、环境集成、Grounding 和评估等关键阶段。
Guiding VLM Agents with Process Rewards at Inference Time for GUI Navigation (2024年12月)
- 一种新颖的基于奖励引导的导航方法。
SpiritSight Agent: Advanced GUI Agent with One Look (2024年12月)
- 单次 GUI 交互方法。
AutoGUI: Scaling GUI Grounding with Automatic Functionality Annotations from LLMs (2024年12月)
- 一种利用 LLM 进行自动 GUI 功能注释的新方法。
Simulate Before Act: Model-Based Planning for Web Agents (2024年12月)
- 一种利用 LLM 世界模型进行基于模型规划的新方法。
Proposer-Agent-Evaluator (PAE): Autonomous Skill Discovery For Foundation Model Internet Agents (2024年12月)
- 为网页智能体提供自主技能发现的新框架。
- 代码
Learning to Contextualize Web Pages for Enhanced Decision Making by LLM Agents (2024年12月)
- 一种通过语境化网页来增强 LLM 智能体决策能力的新框架。
Digi-Q: Transforming VLMs to Device-Control Agents via Value-Based Offline RL (2024年12月)
- 一种用于训练 VLM 设备控制智能体的新型基于价值的离线强化学习方法。
Magentic-One

trycua/acu

ACU - Awesome Agents for Computer Use (计算机使用智能体精选)

目录

文章

论文

综述

框架与模型

项目

开源项目

框架与模型

环境与沙箱

自动化

商业项目

框架与模型

贡献指南