DATAGEN (原名 AI-Data-Analysis-MultiAgent)

关于 DATAGEN

DATAGEN 是一个强有力的品牌名称，代表了我们利用人工智能技术进行数据生成与分析的愿景。该名称结合了“DATA”（数据）与“GEN”（Generation，生成），完美体现了本项目核心功能——通过多智能体系统实现自动化的数据分析与研究。

概览

DATAGEN 是一个先进的 AI 驱动型数据分析与研究平台，利用多个专业化智能体（Agent）来简化数据分析、可视化和报告生成等任务。我们的平台利用 LangChain、OpenAI 的 GPT 模型和 LangGraph 等前沿技术来处理复杂的研究流程，通过整合多样化的 AI 架构实现最佳性能。

核心功能

智能分析核心

• 高级假设引擎
  • AI 驱动的假设生成与验证
  • 自动化的研究方向优化
  • 实时的假设细化
• 企业级数据处理
  • 稳健的数据清洗与转换
  • 可扩展的分析流水线
  • 自动化质量保证
• 动态可视化套件
  • 交互式数据可视化
  • 自定义报告生成
  • 自动化洞察提取

先进技术架构

• 多智能体智能
  • 针对不同任务的专业智能体
  • 智能任务分配
  • 实时协作与优化
• 智能内存管理
  • 最前沿的 Note Taker（笔记记录）智能体
  • 高效的上下文留存系统
  • 无缝工作流集成
• 自适应处理流水线
  • 动态工作流调整
  • 自动化资源优化
  • 实时性能监控

为什么选择 DATAGEN

DATAGEN 通过其创新的多智能体架构和智能自动化能力彻底改变了数据分析方式：

1. 先进的多智能体系统

   • 专业智能体协同工作
   • 智能任务分配与协作
   • 实时适应复杂的分析需求

2. 智能上下文管理

   • 领先的 Note Taker 智能体用于状态追踪
   • 高效的内存利用与上下文留存
   • 分析全流程无缝集成

3. 企业级性能

   • 稳健且可扩展的架构
   • 一致且可靠的结果
   • 生产环境就绪

系统要求

• Python 3.10 或更高版本

安装

1. 克隆仓库：

git clone https://github.com/starpig1129/DATAGEN.git

2. 创建并激活 Conda 虚拟环境：

conda create -n datagen python=3.10
conda activate datagen

3. 安装依赖项：

pip install -r requirements.txt

4. 设置环境变量： 将 .env Example 重命名为 .env 并填写所有必要的值

# 您的数据存储路径 (必需)
# 同时也被文件系统 MCP 服务器使用
WORKING_DIRECTORY = ./data/

# 配置目录路径 (可选)
# 所有配置文件 (agent_models.yaml, agents/, mcp.yaml) 均相对于此目录。
# 默认值为 config/
# 在本地开发时可使用 'config_local' 以避免 Git 追踪 (已在 .gitignore 中)
CONFIG_DIRECTORY = config

# Conda 环境名称 (必需)
CONDA_ENV = datagen

# ChromeDriver 可执行文件路径 (必需)
CHROMEDRIVER_PATH = ./chromedriver-linux64/chromedriver

# Firecrawl API key (可选)
# 注意：如果缺少此 key，查询能力可能会受限
FIRECRAWL_API_KEY = XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX

# OpenAI API key (可选)
OPENAI_API_KEY = XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX
# Anthropic API key (可选)
ANTHROPIC_API_KEY = XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX
# Google API key (可选)
GOOGLE_API_KEY = XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX

# LangChain API key (可选)
# 用于监控处理过程
LANGCHAIN_TRACING_V2 = true
LANGCHAIN_PROJECT = "Multi-agent-DataAnalysis"
LANGCHAIN_API_KEY = XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX

# MCP (Model Context Protocol) 设置 (可选)
# 用于网络搜索 MCP 服务器的 Tavily API key
TAVILY_API_KEY = XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX
# 用于 GitHub MCP 服务器的 GitHub token
GITHUB_TOKEN = XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX

使用说明

使用 Python 脚本

您可以通过 main.py 运行系统：

1. 将您的数据文件（例如 YourDataName.csv）放入 data 目录。

2. 修改 main.py 中 main() 函数里的 user_input 变量：

user_input = '''
datapath:YourDataName.csv
Use machine learning to perform data analysis and write complete graphical reports
'''

3. 运行脚本：

python main.py

主要组件

• hypothesis_agent：生成研究假设
• process_agent：监督整个研究流程
• visualization_agent：创建数据可视化图表
• code_agent：编写数据分析代码