YoMo

YoMo 是一个开源的 LLM Function Calling 框架，用于构建可扩展且超高速的 AI Agent。 💚 我们关注的核心是：在 AI 时代赋能卓越的客户体验

我们坚信，顺畅且响应迅速的 AI 交互是提供出色客户体验的关键。YoMo 正是基于这一理念构建的，专注于速度、可靠性和可扩展性。

🌶 特性

	特性
⚡️	Serverless LLM 工具	无缝部署和管理 LLM 工具/技能。
🔐	增强安全性	每个数据包在设计上都采用了 TLS v1.3 加密，为您的 AI Agent 通信提供强大的安全保障。
📸	轻松的 Agent DevOps	简化 LLM 工具的整个生命周期，从开发到部署。显著降低运营开销，让您能专注于创造创新的 AI Agent 功能。
🌎	地理分布式架构	通过我们的全球分布式架构，将 AI 推理和工具部署在更靠近用户的地方，从而实现更快的响应速度，为您的 AI Agent 提供卓越的用户体验。

🚀 快速上手

让我们构建一个简单的 AI Agent，通过 LLM Function Calling 来提供天气信息：

第一步：安装 CLI

curl -fsSL https://get.yomo.run | sh

验证安装：

yomo version

第二步：启动服务器

创建一个配置文件 my-agent.yaml（你可以从 agent.template.yaml 开始）：

auth_token: "SECRET_TOKEN"

zipper:
  host: "0.0.0.0"
  port: 9000
  tls: {}

http_api:
  host: "0.0.0.0"
  port: 9001
  enable_tool_api: false

llm_providers:
  - type: "openai"
    model_id: "gemma-4-31B-it"
    default: true
    params:
      model: "google/gemma-4-31B-it"
      base_url: "http://localhost:11434"
      api_key: ""

当配置了 auth_token 时，所有 HTTP API 都需要携带 Authorization: Bearer <TOKEN> 请求头。

启动服务器：

yomo serve -c my-agent.yaml

第三步：实现 LLM Function Calling

创建一个类型安全的函数来获取天气数据：

export const description = 'Get the current weather for `city`'

export type Argument = {
  /**
   * The name of the city to be queried
   */
  city: string;
}

export async function handler(args: Argument) {
  // Simulate a weather API call
  let temperature = Math.floor(Math.random() * 41)

  // Return the result to LLM
  return { 
    city: args.city, 
    temperature: temperature,
    feels_like: 11.9,
    rain: false,
  }
}

完成！现在运行它：

$ yomo run -n get-weather

搞定，试一下吧

$ curl http://127.0.0.1:9000/v1/chat/completions \
-H "Content-Type: application/json" \
-H "Authorization: Bearer SECRET_TOKEN" \
-d '{
  "messages": [
    {
      "role": "user",
      "content": "I am going for a hike on the Yarra Bend Park Loop. What should I wear?"
    }
  ],
  "stream": false
}'

你将收到如下的有用回复：

For your hike on the Yarra Bend Park Loop, the current weather is clear with a temperature of approximately 12.3°C (feels like 11.9°C). 

Here are some suggestions on what to wear: 

1. **Layers**: Start with a base layer such as a moisture-wicking t-shirt. Add a light sweater or fleece for warmth since it can be chilly. 
2. **Jacket**: Bring a lightweight jacket or windbreaker to keep warm, especially as it is breezy with a southeast wind at 6 km/h with gusts up to 14 km/h. 
3. **Pants**: Comfortable hiking pants or leggings will be suitable. 
4. **Footwear**: Wear sturdy hiking boots or shoes with good grip. 
5. **Accessories**: Consider a hat or beanie for warmth, and bring gloves if you tend to get cold easily. 
6. **Backpack**: Carry a small backpack with water, snacks, and any additional layers you might need. 

Since there is **no rain** expected, you shouldn't need waterproof gear, but it's always wise to check the latest forecast before heading out. Enjoy your hike!

探索更多示例

查看我们的 Serverless LLM Function Calling 示例 以获取更多用例和灵感。

📚 文档

访问 yomo.run 了解关于 YoMo 的更多信息。

🎯 专注于地理分布式 AI 推理基础设施

众所周知，当今的用户需要即时的 AI 推理，每一个 AI 应用在响应迅速时都会变得更加强大。然而，目前当我们谈论“分布式”时，它通常指的是数据中心内部的分布，而 AI 模型距离世界各地的用户依然很远。

如果一个应用可以部署在靠近终端用户的任何地方来解决问题，这就是地理分布式系统架构。