ACU - 计算机使用（Computer Use）智能体资源汇编

计算机使用（Computer Use）AI 智能体是一种能够针对任务进行推理、规划操作序列，并以点击、击键、计算机事件、命令行操作以及内部/外部 API 调用等形式在计算机或移动设备领域内执行动作的自主程序。这些智能体结合了感知、决策和控制能力，能够独立与数字界面交互并达成用户设定的目标。

这是一个关于“计算机使用”AI 智能体的精选资源列表，涵盖了研究论文、项目、框架及工具。

目录

• ACU - 计算机使用（Computer Use）智能体资源汇编
  • 目录
  • 文章
  • 论文
    • 综述
    • 框架与模型
    • UI 基础与对齐 (UI Grounding)
    • 数据集
    • 基准测试
    • 安全性
  • 项目
    • 开源项目
      • 框架与模型
      • 环境与沙箱
      • 自动化
    • 商业项目
      • 框架与模型
  • 参与贡献

文章

• Anthropic | 介绍 computer use，全新的 Claude 3.5 Sonnet 和 Claude 3.5 Haiku
• Bill Gates | AI 即将彻底改变你使用计算机的方式
• Ethan Mollick | 当你给 Claude 一只鼠标
• OpenAI | 介绍 Operator：一款能够使用自带浏览器为你执行任务的智能体研究预览

论文

综述

• AI Agents for Computer Use: A Review of Instruction-based Computer Control, GUI Automation, and Operator Assistants (2025 年 1 月)
  • 全面综述，从环境、交互和智能体角度建立了计算机控制智能体（CCA）的分类学，分析了 86 个 CCA 和 33 个数据集。
• GUI Agents: A Survey (2024 年 12 月)
  • 关于 GUI 智能体的通用综述。
• Large Language Model-Brained GUI Agents: A Survey (2024 年 11 月)
  • 重点关注基于 LLM 的方法。
  • 网站
• GUI Agents with Foundation Models: A Comprehensive Survey (2024 年 11 月)
  • 基于基础模型的 GUI 智能体的全面概览。

框架与模型

• Reinforcement Learning for Long-Horizon Interactive LLM Agents (2025 年 2 月)
  • 一种新型 RL 方法（LOOP），用于在目标环境中直接训练 IDA（交互式决策智能体）。
  • 32B 参数的智能体在 AppWorld 基准测试中比 OpenAI o1 高出 9 个百分点。
• Large Action Models: From Inception to Implementation (2024 年 12 月)
  • 开发能够执行超出语言生成范围的现实世界操作的 LAM 的全面框架。
  • 详细说明了包括数据收集、模型训练、环境集成、基础对齐和评估在内的关键阶段。
• Guiding VLM Agents with Process Rewards at Inference Time for GUI Navigation (2024 年 12 月)
  • 一种新型的奖励引导导航方法。
• SpiritSight Agent: Advanced GUI Agent with One Look (2024 年 12 月)
  • 单次扫描（Single-shot）GUI 交互方法。
• AutoGUI: Scaling GUI Grounding with Automatic Functionality Annotations from LLMs (2024 年 12 月)
  • 用于自动 GUI 功能标注的新型方法。
• Simulate Before Act: Model-Based Planning for Web Agents (2024 年 12 月)
  • 使用 LLM 世界模型的新型基于模型的规划方法。
• Proposer-Agent-Evaluator (PAE): Autonomous Skill Discovery For Foundation Model Internet Agents (2024 年 12 月)
  • 用于 Web 智能体的新型自主技能发现框架。
  • 代码
• Learning to Contextualize Web Pages for Enhanced Decision Making by LLM Agents (2024 年 12 月)
  • 通过上下文关联网页来增强 LLM 智能体决策能力的新型框架。
• Digi-Q: Transforming VLMs to Device-Control Agents via Value-Based Offline RL (2024 年 12 月)
  • 通过基于价值的离线 RL 将 VLM 转化为设备控制智能体的新型方法。
• Magentic-One (微软推出的通用多智能体系统)

UI 基础与对齐 (UI Grounding)

(待填充)

数据集

(待填充)

基准测试

(待填充)

安全性

(待填充)

项目

开源项目

框架与模型

(待填充)

环境与沙箱

(待填充)

自动化

(待填充)

商业项目

框架与模型

(待填充)

参与贡献

欢迎提交 Pull Request 或开设 Issue 来添加资源或修正错误！