nasa-jpl/rosa

ROSA 🤖 is an AI Agent designed to interact with ROS1- and ROS2-based robotics systems using natural language queries. ROSA helps robot developers inspect, diagnose, understand, and operate robots.

agentsaideveloper-toolsjplllmnasaroboticsrosros2

GAI 中文摘要

ROSA 是一个基于大语言模型的开源 AI 智能体，旨在实现用户与 ROS1 及 ROS2 机器人系统之间的自然语言交互。该项目通过将复杂的机器人指令转化为人类可理解的语言，大幅提升了开发人员在机器人系统检测、诊断及操作方面的效率。

支持使用自然语言查询并直接控制 ROS1 和 ROS2 系统。具备机器人状态监测与故障诊断能力，能够快速协助开发人员定位问题。内置基于 LangChain 的灵活架构，支持通过继承或自定义参数来适配不同类型的机器人。提供开箱即用的仿真环境演示，方便用户快速上手并理解智能体的工作逻辑。模块化设计支持添加自定义工具与提示词，满足复杂场景下的个性化开发需求。

该项目适用于从事机器人研发、系统集成及维护的工程师与研究人员，特别是在需要频繁调试、监测复杂 ROS 系统或进行远程交互的科研与生产场景中具有显著优势。

⭐

1.5k

Stars

🔱

166

Forks

👁

Watchers

📋

Issues

PythonApache-2.0创建于 2024/8/5更新于今天

在 GitHub 上查看访问主页

README

由 Gemini 翻译整理

ROSA: 机器人操作系统智能体 (Robot Operating System Agent)

ROSA 是一个专为通过自然语言查询与基于 ROS1 和 ROS2 的机器人系统进行交互而设计的 AI 智能体。🗣️🤖

License

Main Branch Dev Branch Publish Status Version Downloads

[!IMPORTANT] 📚 初次使用 ROSA？ 请查阅我们的 Wiki 以获取文档、指南和常见问题解答！

ROSA 是您针对 ROS1 和 ROS2 系统的 AI 助手。它基于 Langchain 框架构建，旨在帮助您通过自然语言与机器人交互，从而使机器人开发变得更加简单高效。

ROSA 演示：JPL 火星场 (Mars Yard) 中的 NeBula-Spot 机器人（点击观看 YouTube 视频）

🚀 快速入门

环境要求

Python 3.9+
ROS Noetic 或更高版本

安装

pip3 install jpl-rosa

使用示例

from rosa import ROSA

llm = get_your_llm_here()
agent = ROSA(ros_version=1, llm=llm)
agent.invoke("Show me a list of topics that have publishers but no subscribers")

关于配置 LLM 的详细信息，请参阅我们的模型配置 Wiki 页面。

为您的机器人适配 ROSA 🔧

ROSA 的设计初衷是便于适配各种机器人和环境。您可以通过继承 ROSA 类或使用自定义参数创建新实例来构建自定义智能体。

关于创建自定义智能体、添加工具以及自定义 Prompt 的详细信息，请参阅我们的自定义智能体 Wiki 页面。

TurtleSim 演示 🐢

我们提供了一个演示程序，利用 ROSA 在模拟环境中控制 TurtleSim 机器人。运行此演示需要您的机器安装 Docker。🐳

以下视频展示了 ROSA 如何推理并绘制一个五角星，随后执行必要的命令来完成任务。

https://github.com/user-attachments/assets/77b97014-6d2e-4123-8d0b-ea0916d93a4e

关于设置和运行 TurtleSim 演示的详细说明，请参阅 Wiki 中的 TurtleSim 演示指南。

IsaacSim 扩展（即将推出）

ROSA 即将登陆 Nvidia IsaacSim！虽然您目前已经可以在 IsaacSim 中使用运行的机器人（通过 ROS/ROS2 桥接），但我们正在添加以 IsaacSim 扩展形式存在的直接集成。这将使您不仅能够控制 IsaacSim 中的机器人，还能直接控制 IsaacSim 平台本身。观看下方视频了解更多信息。

ROSA 演示：Nvidia IsaacSim 扩展（点击观看 YouTube 视频）

📘 了解更多

更新日志

请查看 CHANGELOG.md 获取变更历史。

贡献

有兴趣为我们的项目做出贡献吗？请参阅我们的：CONTRIBUTING.md

关于如何与我们的团队互动，请参阅我们的行为准则：CODE_OF_CONDUCT.md

关于我们的治理方案（包括决策流程及各项职责），请参阅我们的治理模型：GOVERNANCE.md

许可协议

请参阅我们的：LICENSE

支持

主要联系人：

@RobRoyce (电子邮件)