RagaAI Catalyst 

RagaAI Catalyst 是一个综合性平台，旨在提升 LLM 项目的管理与优化效率。它提供了丰富的功能，包括项目管理、数据集管理、评估管理、Trace 管理、Prompt 管理、合成数据生成以及护栏（Guardrail）管理。通过这些功能，您可以高效地评估并保障 LLM 应用的安全性。

目录

• RagaAI Catalyst
  • 安装
  • 配置
  • 使用指南
    • 项目管理
    • 数据集管理
    • 评估管理
    • Trace 管理
    • Agentic Tracing
    • Prompt 管理
    • 合成数据生成
    • 护栏管理
    • 红队测试 (Red-teaming)

安装

您可以通过 pip 安装 RagaAI Catalyst：

pip install ragaai-catalyst

配置

在使用 RagaAI Catalyst 之前，您需要设置凭证。可以通过设置环境变量或直接在 RagaAICatalyst 类中传递参数来完成：

from ragaai_catalyst import RagaAICatalyst

catalyst = RagaAICatalyst(
    access_key="YOUR_ACCESS_KEY",
    secret_key="YOUR_SECRET_KEY",
    base_url="BASE_URL"
)

您需要生成认证凭证：

1. 进入您的个人资料设置（Profile settings）
2. 选择“Authenticate”
3. 点击“Generate New Key”以创建您的 access key 和 secret key

注意：执行下方任何操作都需要先完成 RagaAICatalyst 的身份验证。

使用指南

项目管理

使用 RagaAI Catalyst 创建和管理项目：

# 创建项目
project = catalyst.create_project(
    project_name="Test-RAG-App-1",
    usecase="Chatbot"
)

# 获取项目用例
catalyst.project_use_cases()

# 列出所有项目
projects = catalyst.list_projects()
print(projects)

数据集管理

为您的项目高效管理数据集：

from ragaai_catalyst import Dataset

# 初始化特定项目的 Dataset 管理
dataset_manager = Dataset(project_name="project_name")

# 列出已有数据集
datasets = dataset_manager.list_datasets()
print("Existing Datasets:", datasets)

# 从 CSV 创建数据集
dataset_manager.create_from_csv(
    csv_path='path/to/your.csv',
    dataset_name='MyDataset',
    schema_mapping={'column1': 'schema_element1', 'column2': 'schema_element2'}
)

# 获取项目 Schema 映射
dataset_manager.get_schema_mapping()

关于数据集管理的更多详细信息（包括 CSV Schema 处理和高级用法），请参考 Dataset Management 文档。

评估管理

创建并管理 RAG 应用的指标评估：

from ragaai_catalyst import Evaluation

# 创建实验
evaluation = Evaluation(
    project_name="Test-RAG-App-1",
    dataset_name="MyDataset",
)

# 获取可用指标列表
evaluation.list_metrics()

# 将指标添加到实验中
schema_mapping={
    'Query': 'prompt',
    'response': 'response',
    'Context': 'context',
    'expectedResponse': 'expected_response'
}

# 添加单个指标
evaluation.add_metrics(
    metrics=[
      {"name": "Faithfulness", "config": {"model": "gpt-4o-mini", "provider": "openai", "threshold": {"gte": 0.232323}}, "column_name": "Faithfulness_v1", "schema_mapping": schema_mapping},
    
    ]
)

# 添加多个指标
evaluation.add_metrics(
    metrics=[
        {"name": "Faithfulness", "config": {"model": "gpt-4o-mini", "provider": "openai", "threshold": {"gte": 0.323}}, "column_name": "Faithfulness_gte", "schema_mapping": schema_mapping},
        {"name": "Hallucination", "config": {"model": "gpt-4o-mini", "provider": "openai", "threshold": {"lte": 0.323}}, "column_name": "Hallucination_lte", "schema_mapping": schema_mapping},
        {"name": "Hallucination", "config": {"model": "gpt-4o-mini", "provider": "openai", "threshold": {"eq": 0.323}}, "column_name": "Hallucination_eq", "schema_mapping": schema_mapping},
    ]
)

# 获取实验状态
status = evaluation.get_status()
print("Experiment Status:", status)

# 获取实验结果
results = evaluation.get_results()
print("Experiment Results:", results)

# 为新数据追加指标
# 如果您向数据集添加了新行，可以重新计算指标