WebArena: 用于构建自治智能体的真实 Web 环境

WebArena 是一个独立、可自托管的 Web 环境，用于构建自治智能体。

网站 • 论文 • 排行榜 • TheAgentCompany

2024年12月5日更新

[!IMPORTANT] 本仓库托管了 WebArena 的规范实现，用于复现论文中报告的结果。Web 导航基础设施已通过 AgentLab 进行了重大增强，引入了几个关键功能：(1) 支持使用 BrowserGym 进行并行实验；(2) 在统一框架内集成了流行的 Web 导航基准测试（如 VisualWebArena）；(3) 统一的排行榜报告；(4) 改进了对环境边缘情况的处理。我们强烈建议在您的实验中使用此框架。

新闻

• [2024/12/20] 查看我们关于更具影响力的任务（包括终端使用和编码）的新基准测试：TheAgentCompany。
• [2023/12/21] 我们发布了人类标注员在约 170 个任务上执行的轨迹记录。详情请查看资源页面。
• [2023/11/3] 多项功能更新！
  • 上传了最新的执行轨迹
  • 添加了亚马逊机器镜像 (AMI)，预装了所有网站，无需手动配置！
  • Zeno x WebArena：允许您轻松分析 WebArena 上的智能体。查看此 notebook 以将您自己的数据上传到 Zeno，并访问此页面 浏览我们现有的结果！
• [2023/10/24] 我们重新检查了整个数据集并修复了发现的标注错误。当前版本 (v0.2.0) 相对稳定，预计未来不会对标注进行重大更新。包含更好 prompt 的新结果以及与人类表现的对比可以在我们的论文中找到。
• [2023/8/4] 添加了托管您自己的 WebArena 环境的说明和 Docker 资源。详情请查阅此页面。
• [2023/7/29] 添加了一个带详细注释的脚本，用于引导环境设置。

安装

# Python 3.10+
conda create -n webarena python=3.10; conda activate webarena
pip install -r requirements.txt
playwright install
pip install -e .

# optional, dev only
pip install -e ".[dev]"
mypy --install-types --non-interactive browser_env agents evaluation_harness
pip install pre-commit
pre-commit install

快速指南

查看此脚本，了解如何设置浏览器环境并使用我们托管的演示站点与之交互的快速指南。此脚本仅供教学使用，要进行可复现的实验，请查看下一节。简而言之，使用 WebArena 与使用 OpenAI Gym 非常相似。以下代码片段展示了如何与环境进行交互：

from browser_env import ScriptBrowserEnv, create_id_based_action
# init the environment
env = ScriptBrowserEnv(
    headless=False,
    observation_type="accessibility_tree",
    current_viewport_only=True,
    viewport_size={"width": 1280, "height": 720},
)
# prepare the environment for a configuration defined in a json file
config_file = "config_files/0.json"
obs, info = env.reset(options={"config_file": config_file})
# get the text observation (e.g., html, accessibility tree) through obs["text"]

# create a random action
id = random.randint(0, 1000)
action = create_id_based_action(f"click [id]")

# take the action
obs, _, terminated, _, info = env.step(action)

端到端评估

[!IMPORTANT] 为确保评估准确，请按照第 1 步和第 2 步设置您自己的 WebArena 网站。演示站点仅供浏览以帮助您更好地理解内容。在评估完 812 个示例后，请按照此处的说明将环境重置为初始状态。

1. [配置说明]