🦀 PinchBench

AI 编程代理的真实世界基准测试

注意： 本仓库包含基准测试的 skill/任务。它并不是官方排行榜结果的来源。如需将模型添加到官方结果中，请修改 pinchbench/scripts/default-models.yml。

PinchBench 用于衡量 LLM 模型作为 OpenClaw 代理核心时的表现。我们不使用合成测试，而是向代理抛出真实任务：安排会议、编写代码、分类电子邮件、研究主题以及管理文件。

测试结果汇总在公开排行榜 pinchbench.com 上。

为什么选择 PinchBench？

大多数 LLM 基准测试仅测试孤立的性能，而 PinchBench 测试的是对编程代理至关重要的实际能力：

• 工具使用 (Tool usage) — 模型能否以正确的参数调用正确的工具？
• 多步推理 (Multi-step reasoning) — 模型能否串联操作以完成复杂任务？
• 真实世界的复杂性 (Real-world messiness) — 模型能否处理模糊的指令和不完整的信息？
• 实际成果 (Practical outcomes) — 它是否真的创建了文件、发送了邮件或安排了会议？

快速开始

# 克隆 skill 仓库
git clone https://github.com/pinchbench/skill.git
cd skill

# 使用你选择的模型运行基准测试
./scripts/run.sh --model openrouter/anthropic/claude-sonnet-4

# 或运行特定任务
./scripts/run.sh --model openrouter/openai/gpt-4o --suite task_01_calendar,task_02_stock

注意： 模型 ID 必须包含其提供商前缀（例如 openrouter/、anthropic/）。OpenRouter 是默认的路由提供商。

环境要求：

• Python 3.10+
• uv 包管理器
• 一个正在运行的 OpenClaw 实例

测试内容

PinchBench 涵盖了真实世界类别的 23 项任务：

类别	任务	测试内容
生产力	日历、每日摘要	事件创建、时间解析、日程安排
研究	股票价格、会议、市场	网络搜索、数据提取、综合分析
写作	博客文章、邮件、人性化润色	内容生成、语气、格式控制
编码	天气脚本、文件结构	代码生成、文件操作
分析	电子表格、PDF、文档	数据处理、摘要提取
邮件	分类、搜索	收件箱管理、过滤
记忆	上下文检索、知识管理	长期记忆、召回
技能	ClawHub、技能发现	OpenClaw 生态系统集成

每项任务都通过 LLM 判定器（Judge）进行自动评分，或采用双重判定——确保评估既客观又精准。

提交结果

要将你的结果发布到排行榜上：

# 注册 API token（仅需一次）
./scripts/run.sh --register

# 运行基准测试 —— 结果会自动通过你的 token 上传
./scripts/run.sh --model openrouter/anthropic/claude-sonnet-4

如果你只想在本地查看结果，可以使用 --no-upload 跳过上传。

官方结果

要提交正式运行结果（将在排行榜上标记）：

# 使用环境变量
export PINCHBENCH_OFFICIAL_KEY=your_official_key
./scripts/run.sh --model anthropic/claude-sonnet-4

# 使用命令行参数
./scripts/run.sh --model anthropic/claude-sonnet-4 --official-key your_official_key

命令参考

参数	说明
--model MODEL	待测试的模型 (例如 openrouter/anthropic/claude-sonnet-4)
--judge MODEL	用于 LLM 评分的判定模型 (默认: openrouter/anthropic/claude-opus-4.5)
--suite SUITE	all、automated-only 或逗号分隔的任务 ID
--runs N	每个任务的运行次数，用于计算平均值
--timeout-multiplier N	为较慢的模型调整超时时间
--output-dir DIR	结果保存路径 (默认: results/)
--no-upload	跳过上传至排行榜
--register	申请用于提交结果的 API token