Arbigent (Arbiter-Agent)：面向现代应用程序的 AI Agent 测试框架

从零开始，数分钟内即可完成 AI Agent 测试。Arbigent 直观的 UI 和强大的代码接口让所有人都能轻松上手，其场景拆解功能确保了即使是最复杂的任务也具备良好的可扩展性。

[!WARNING] 目前似乎有一个冒充 Arbigent 的垃圾账号，该账号与本人无关。创建者的官方账号为 https://x.com/_takahirom_ 和 https://x.com/new_runnable。

截图

演示视频

https://github.com/user-attachments/assets/ec582760-5d6a-4ee3-8067-87cb2b673c8d

设计初衷

让 AI Agent 测试在现代应用中具备实用性

传统的 UI 测试往往依赖于脆弱的脚本，很容易因为微小的 UI 变化而中断。A/B 测试、更新后的教程、意外弹窗、动态广告或不断变化的用户生成内容都可能导致测试失败。 AI Agent 的出现为解决这些问题提供了方案，但使用 AI Agent 进行测试也带来了新挑战。AI Agent 往往无法按预期工作；例如，由于任务的复杂性，Agent 可能会打开其他应用或点击错误的按钮。 为了解决这些挑战，我创建了 Arbigent。这是一个 AI Agent 测试框架，能够将复杂任务拆解为更小的、相互依赖的场景。通过任务分解，Arbigent 实现了现代应用中 AI Agent 测试的可预测性和可扩展性。

针对不同 AI 提供商、操作系统、外形规格的可定制性

我相信未来会出现许多 AI Agent 测试框架。然而，由于定制化能力的局限性，它们的广泛应用可能会受到阻碍。例如：

• 有限的 AI 提供商支持： 框架可能绑定在特定的 AI 提供商上，导致无法使用企业内部的模型。
• 操作系统支持滞后： 对不同操作系统（如 iOS 和 Android）的支持可能存在延迟。
• 外形规格支持不足： 扩展到手机以外的外形规格（如 Android TV）可能需要相当长的时间。

为了解决这些问题，我旨在创建一个赋予用户强大定制能力的框架。受 OkHttp 拦截器 (Interceptor) 模式的启发，Arbigent 提供了灵活的定制化接口，允许用户根据上述等特定需求对框架进行适配。

轻松集成到开发工作流

此外，我希望通过提供友好的 UI，使 QA 工程师也能轻松使用 Arbigent。这使得用户可以在 UI 中创建场景，并通过代码接口实现无缝的测试执行。

核心功能解析

I. 核心功能与设计

• 复杂任务管理：
  • 场景依赖： 将复杂目标拆解为更小、可管理的依赖场景（例如：登录 -> 搜索）。
  • 编排： 作为协调者，管理 AI Agent 在多个互联场景中的执行流。
• 混合开发工作流：
  • UI 驱动的场景创建： 允许非程序员（如 QA 工程师）通过可视化界面设计测试场景。
  • 基于代码的执行： 允许软件工程师通过编程方式（YAML 文件）执行保存的场景，从而集成到现有的测试基础设施中。

II. 跨平台与设备支持

• 多平台兼容性：
  • 移动端与 TV： 支持在 iOS、Android、Web 和 TV 界面上进行测试。
  • 方向键导航： 处理依赖方向键（D-Pad）导航的 TV 界面。

III. AI 优化与效率

• 增强 AI 理解能力：
  • UI 树优化： 简化并过滤 UI 树，以提高 AI 的理解能力和性能。
  • 独立于辅助功能： 提供带标注的截图，协助 AI 理解缺乏辅助功能（Accessibility）信息的 UI。
• 成本节约：
  • 开源： 免费使用、修改和分发，无需支付许可费用。
  • 高效的模型使用： 默认使用 gpt-4.1 以获得更强能力；同时也支持 gpt-4o-mini 等高性价比模型。

IV. 鲁棒性与可靠性

• 基于 AI 的图像断言验证： 集成 Roborazzi 的功能，使用基于图像的提示词验证 AI 的决策，并允许 AI 在必要时进行二次评估。
• 卡屏检测： 识别并从 AI Agent 卡在同一界面的情况下恢复，提示其重新审视操作。

V. 高级特性与定制化

• 灵活的代码接口：
  • 自定义 Hooks： 提供代码接口以添加自定义的初始化和清理方法，从而在场景执行过程中提供更精细的控制。