Rogue — AI Agent 评估与红队测试平台

在攻击者利用漏洞之前，先对你的 AI Agent 进行压力测试。

Discord 社区 · 快速开始 · 文档

两种加固 Agent 的方式

🎯 自动评估 (Automatic Evaluation)

针对业务策略和预期行为对你的 Agent 进行测试。

定义场景与预期结果
验证是否符合业务规则
在 Rogue 探测 Agent 时观察实时对话
获取包含详细推理过程的通过/失败报告

适用场景： 回归测试、行为验证、策略合规性检查

🔴 红队测试 (Red Teaming)

模拟对抗性攻击以发现安全漏洞。

涵盖 12 个安全类别的 75+ 种漏洞
20 种攻击技术（编码、社会工程学、注入等）
基于 CVSS 的风险评分
8 个合规性框架（OWASP, MITRE, NIST, GDPR, EU AI Act 等）

适用场景： 安全审计、渗透测试、合规性报告

架构

Rogue 采用客户端-服务器架构，并提供多种交互界面：

组件	描述
Server	核心评估与红队测试逻辑
TUI	现代化的终端界面 (Go + Bubble Tea)
CLI	用于 CI/CD 流水线的非交互式模式

https://github.com/user-attachments/assets/b5c04772-6916-4aab-825b-6a7476d77787

支持的协议

协议	传输层	描述
A2A	HTTP	Google 的 Agent-to-Agent 协议
MCP	SSE, STREAMABLE_HTTP	通过 `send_message` 工具实现的 Model Context Protocol
Python	—	直接的 Python 函数调用（无需网络协议）

请查看 examples/ 目录下的参考实现。

Python 入口点

对于以 Python 函数形式实现且不使用 A2A 或 MCP 的 Agent：

创建一个包含 call_agent 函数的 Python 文件：

def call_agent(messages: list[dict]) -> str:
    """
    处理对话并返回响应。

    Args:
        messages: {"role": "user"|"assistant", "content": "..."} 列表

    Returns:
        Agent 的字符串格式响应
    """
    # 在此处编写你的 Agent 逻辑
    latest = messages[-1]["content"]
    return f"Response to: {latest}"

使用 Python 协议运行 Rogue：

uvx rogue-ai cli \
  --protocol python \
  --python-entrypoint-file ./my_agent.py \
  --judge-llm openai/gpt-4o-mini

或者通过 TUI：选择“Python”作为协议并输入文件路径。

完整示例请参考 examples/python_entrypoint_stub.py。

🔥 快速开始

前置条件

uvx — 安装 uv
Python 3.10+
LLM API Key (OpenAI, Anthropic 或 Google)

安装

# TUI (推荐)
uvx rogue-ai

# CLI / CI/CD
uvx rogue-ai cli

使用示例 Agent 进行尝试

# 一体化运行：同时启动 Rogue 和一个简单的 T 恤商店 Agent
uvx rogue-ai --example=tshirt_store

在 UI 中配置：

Agent URL: http://localhost:10001
模式: 选择 Automatic Evaluation 或 Red Teaming

运行模式

模式	命令	描述
默认	`uvx rogue-ai`	服务器 + TUI
Server	`uvx rogue-ai server`	仅后端
TUI	`uvx rogue-ai tui`	终端客户端
CLI	`uvx rogue-ai cli`	非交互式 (CI/CD)

Server 选项

uvx rogue-ai server --host 0.0.0.0 --port 8000 --debug

CLI 选项

uvx rogue-ai cli \
  --evaluated-agent-url http://localhost:10001 \
  --judge-llm openai/gpt-4o-mini \
  --business-context-file ./.rogue/business_context.md

选项	描述
`--config-file`	配置文件 JSON 路径
`--evaluated-agent-url`	Agent 端点 (必填)
`--judge-llm`	用于评估的 LLM (必填)
`--business-context`	上下文字符串或 `--business-context-file`
`--input-scenarios-file`	场景 JSON 文件
`--output-report-file`	报告输出路径

qualifire-dev/rogue