Rogue — AI Agent 评估与红队测试平台

在攻击者利用之前，先对你的 AI Agent 进行压力测试。

Discord 社区 · 快速开始 · 文档

强化 Agent 的两种途径

🎯 自动评估 (Automatic Evaluation)

针对业务策略和预期行为测试你的 Agent。

定义场景与预期结果
验证是否符合业务规则
当 Rogue 探测你的 Agent 时，实时查看对话过程
获取带有推理说明的详细通过/失败报告

适用场景： 回归测试、行为验证、策略合规性检查

🔴 红队测试 (Red Teaming)

模拟对抗性攻击以发现安全漏洞。

涵盖 12 个安全类别的 75+ 种漏洞
20 种攻击技术（编码、社会工程学、注入等）
基于 CVSS 的风险评分
8 种合规框架（OWASP, MITRE, NIST, GDPR, EU AI Act 等）

适用场景： 安全审计、渗透测试、合规性报告

架构

Rogue 采用客户端-服务器架构，并提供多种交互界面：

组件	描述
Server	核心评估与红队测试逻辑
TUI	现代终端界面 (基于 Go + Bubble Tea)
CLI	用于 CI/CD 流水线的非交互模式

https://github.com/user-attachments/assets/b5c04772-6916-4aab-825b-6a7476d77787

支持的协议

协议	传输方式	描述
A2A	HTTP	Google Agent-to-Agent 协议
MCP	SSE, STREAMABLE_HTTP	通过 `send_message` 工具实现的 Model Context Protocol
Python	—	直接调用 Python 函数（无需网络协议）

参考 examples/ 获取实现示例。

Python 入口点

对于未实现 A2A 或 MCP 协议的 Python 函数式 Agent：

创建一个包含 call_agent 函数的 Python 文件：

def call_agent(messages: list[dict]) -> str:
    """
    处理对话并返回响应。

    Args:
        messages: 包含 {"role": "user"|"assistant", "content": "..."} 的列表

    Returns:
        Agent 的字符串响应
    """
    # 在此编写你的 Agent 逻辑
    latest = messages[-1]["content"]
    return f"Response to: {latest}"

使用 Python 协议运行 Rogue：

uvx rogue-ai cli \
  --protocol python \
  --python-entrypoint-file ./my_agent.py \
  --judge-llm openai/gpt-4o-mini

或者通过 TUI 操作：选择“Python”作为协议并输入文件路径。

完整示例请参考 examples/python_entrypoint_stub.py。

🔥 快速开始

前置要求

uvx — 安装 uv
Python 3.10+
LLM API Key (OpenAI, Anthropic 或 Google)

安装

# TUI (推荐)
uvx rogue-ai

# CLI / CI/CD
uvx rogue-ai cli

使用示例 Agent 进行尝试

# 一体化命令：同时启动 Rogue 和一个示例 T 恤商店 Agent
uvx rogue-ai --example=tshirt_store

在 UI 中进行配置：

Agent URL: http://localhost:10001
模式: 选择 Automatic Evaluation 或 Red Teaming

运行模式

模式	命令	描述
默认	`uvx rogue-ai`	服务器 + TUI
Server	`uvx rogue-ai server`	仅后端
TUI	`uvx rogue-ai tui`	终端客户端
CLI	`uvx rogue-ai cli`	非交互式 (CI/CD)

Server 选项

uvx rogue-ai server --host 0.0.0.0 --port 8000 --debug

CLI 选项

uvx rogue-ai cli \
  --evaluated-agent-url http://localhost:10001 \
  --judge-llm openai/gpt-4o-mini \
  --business-context-file ./.rogue/business_context.md

选项	描述
`--config-file`	配置文件路径 (JSON)
`--evaluated-agent-url`	Agent 终端节点 (必选)
`--judge-llm`	用于评估的 LLM (必选)
`--business-context`	上下文字符串或 `--business-context-file`
`--input-scenarios-file`	场景文件 (JSON)
`--output-report-file`	报告输出路径

qualifire-dev/rogue