Browser Agent

Browser Agent 是由 Oxylabs AI Studio 开发的一款 AI 浏览器自动化工具。它通过执行点击链接、填写表单、滚动页面、截屏以及提取结构化数据等多步骤操作，模拟真实用户的浏览行为，且这一切均可通过自然语言指令进行控制。

与传统的自动化框架（如 Puppeteer 或 Selenium）不同，Browser Agent 不需要预设静态的抓取规则或手动编写脚本。用户只需用简单的自然语言描述任务，或者提供一系列步骤，AI 就会像人类一样执行这些操作。

主要功能

• 通过浏览器 AI 实现全方位控制 – 执行点击、输入、导航和滚动操作。
• 多步骤任务执行 – 使用自然语言定义浏览流程。
• 多种输出格式 – 获取 JSON、Markdown、HTML 或 PNG 格式的截屏结果。
• 支持动态内容 – 可与通过 JavaScript 渲染的页面进行交互。
• 基于 Schema 的提取 – 在浏览序列完成后获取结构化的 JSON 数据。

工作原理

要使用浏览器 AI Agent 运行任务，请按照以下步骤操作：

1. 输入目标 URL。
2. 描述浏览过程：
   • 自然语言提示词（例如：“打开定价页面，接受 Cookie，并提取所有产品名称及其价格。”）
   • 结构化步骤列表 – 提供一个 AI 浏览器操作数组（click、type、navigate、wait、extract）。
3. 选择输出格式： JSON、Markdown、HTML 或 PNG 截屏。
4. （可选）如果选择了 JSON，定义或自动生成 Schema 以结构化收集到的数据。

安装

开始之前，请确保您已拥有 API Key（或获取 免费试用 并获得 1000 积分），且系统已安装 Python 3.10 或更高版本。您可以使用 pip 安装 oxylabs-ai-studio 包：

pip install oxylabs-ai-studio

代码示例 (Python)

以下示例展示了如何使用浏览器 AI Agent 进行浏览和数据提取。

from oxylabs_ai_studio.apps.browser_agent import BrowserAgent

browser_agent = BrowserAgent(api_key="")

schema = browser_agent.generate_schema(
    prompt="game name, platform, review stars and price"
)
print("schema: ", schema)

prompt = "Find if there is game 'super mario odyssey' in the store. If there is, find the price. Use search bar to find the game."
url = "https://sandbox.oxylabs.io/"
result = browser_agent.run(
    url=url,
    user_prompt=prompt,
    output_format="json",
    schema=schema,
)
print(result.data)

下面的示例展示了如何在使用 Browser Agent 的同时获取 PNG 截屏。

import base64
from oxylabs_ai_studio.apps.browser_agent import BrowserAgent

browser_agent = BrowserAgent(api_key="")

result = browser_agent.run(
    url = "https://sandbox.oxylabs.io/",
    user_prompt= "Go to the website and take a screenshot of the home page",
    output_format="screenshot",
)

with open("screenshot.png", "wb") as f:
    f.write(base64.b64decode(result.data.content["data"]))

如需了解更多关于 Browser Agent 和 Oxylabs AI Studio Python SDK 的信息，请访问我们的 PyPI 仓库。 JS 用户也可以查看我们的 AI Studio JavaScript SDK 指南。

请求参数

参数	说明	默认值
url*	开始浏览的 URL	–
user_prompt*	用于提取数据的自然语言提示词	–
output_format	输出格式 (json, markdown, html, screenshot)	markdown
schema	用于结构化提取的 OpenAPI schema（JSON 格式必需）	–
geo_location	ISO2 格式的代理服务器地理位置	–

* – 必填参数

输出示例

Browser Agent 可以返回解析后的结果或截屏，方便集成到您的应用程序中。以下是我们第一个请求代码的直接输出示例：

Results:
{