SimWorld: 面向物理与社会世界的自主智能体开放式仿真平台

SimWorld 是一个专为开发和评估复杂物理与社会环境中 LLM/VLM AI 智能体而设计的仿真平台。

总之，SimWorld 支持三个层级的使用方式：

• 基础版 (Base)：使用基础包（包含两个轻量级城市场景 + 一个空白地图）进行智能体交互核心功能与快速测试。
• 扩展环境 (Additional Environments)：在基础版之上，可选配 100 多个预构建地图，以支持更丰富的场景。
• 自定义 (Customization)：将你自己的 UE 环境、资源和智能体模型引入 SimWorld，实现完全定制化的仿真。

详情请参阅 设置 (Setup) 和 定制你的 SimWorld (Make Your SimWorld)。

📌 目录

• 🎬 演示
• 🔥 新闻
• 💡 简介
• 🏗️ 架构
• 🚀 快速入门 — 一个最小化的类 Gym 智能体示例
• ⚙️ 设置 — Python / UE 服务器安装 + 快速启动
• 📚 配置与 API 参考 — 配置项 + 常用 API
• 🛠️ 定制你的 SimWorld — 引入你自己的环境/资源/智能体
• 🔮 后续步骤
• 🤝 参与贡献
• ⭐ Star 历史

🎬 演示

▶ 在 YouTube 上观看我们的所有演示视频

🔥 新闻

• 2026.1 SimWorld 现已支持导入自定义环境和智能体(文档)！
• 2025.11 SimWorld 的白皮书已在 arxiv 发布！
• 2025.9 SimWorld 已被 NeurIPS 2025 主会场接收并入选 Spotlight 论文！🎉
• 2025.6 SimWorld 的首个正式版本发布！🚀
• 2025.3 我们的 SimWorld 演示已被 CVPR 2025 演示赛道接收！🎉

💡 简介

SimWorld 基于 Unreal Engine 5 构建，提供满足现代智能体开发需求的核心功能。它具有以下特点：

• 具有精确物理特性和基于语言的过程化生成能力的真实、开放式世界仿真。
• 为 LLM/VLM 智能体提供丰富的接口，支持多模态感知和自然语言动作。
• 多样化且可定制的物理与社会推理场景，支持对导航、规划和战略协作等复杂智能体行为进行系统化训练与评估。

🏗️ 架构

SimWorld 由三层组成：

• Unreal Engine 后端：提供多样且开放的环境、丰富的资产以及真实的物理仿真；
• 环境层 (Environment layer)：支持过程化城市生成、语言驱动的场景编辑、针对 LLM/VLM 智能体的类 Gym API 以及交通仿真；
• 智能体层 (Agent layer)：使 LLM/VLM 智能体能够通过本地动作规划器执行动作，同时对多模态观察结果和历史记录进行推理。

SimWorld 的架构设计兼具模块化与灵活性，支持动态世界生成、智能体控制和性能基准测试等多种功能。各组件无缝集成，为 Embodied AI（具身智能）和 Agents 研究与应用提供了一个强大的平台。

项目结构

simworld/               # Python 包
    local_planner/      # 本地动作规划组件
    agent/              # 智能体系统
    assets_rp/          # 用于检索和重新放置对象的实时编辑器组件
    citygen/            # 城市布局过程生成器
    communicator/       # 连接 Unreal Engine 的核心组件
    config/             # 配置加载器及默认配置文件
    llm/                # 基础 LLM 类
    map/                # 基础地图类和路径点系统
    traffic/            # 交通系统
    utils/              # 工具函数
    data/               # 默认数据文件，例如对象类别
    weather/            # 天气系统
data/                   # 必要的输入数据
config/                 # 示例配置文件及用户配置文件
examples/                # 使用示例，例如布局生成和交通仿真
docs/                   # 文档源代码
README.md

🚀 快速入门

这是一个最小化的示例，展示了如何在 SimWorld 中创建一个由 LLM 驱动的导航任务。该演示创建了一个人形智能体，利用自然语言推理和类 Gym 接口自动导航至目标位置。

注意：为了演示简洁，代码经过了简化。完整实现请参见 examples/gym_interface_demo.ipynb。更多示例……