YoMo

YoMo 是一个开源的 LLM Function Calling 框架，用于构建可扩展且超高速的 AI Agent。

💚 我们的核心理念：在 AI 时代赋能卓越的客户体验

我们坚信，无缝且响应迅速的 AI 交互是提供卓越客户体验的关键。YoMo 的构建正是基于这一原则，专注于速度、可靠性和可扩展性。

🌶 特性

	特性
⚡️	低延迟 MCP	基于 QUIC Protocol 构建，保证了极高的通信效率，大幅提升 AI Agent 与 MCP 服务器之间的交互速度。
🔐	增强安全性	所有数据包在设计上均应用了 TLS v1.3 加密，为您的 AI Agent 通信提供强大的安全保障。
🚀	强类型语言支持	通过类型安全的 Function Calling、增强的错误检测以及无缝集成能力，让您能充满信心地构建稳健的 AI Agent。类型安全不仅能防止运行时错误，还能简化测试并启用 IDE 自动补全功能。目前支持 TypeScript 和 Go。
📸	轻松实现 Serverless DevOps	简化 LLM 工具的整个生命周期，涵盖从开发到部署的每一个环节。显著降低运维开销，让您专注于创造创新的 AI Agent 功能。
🌎	地理分布式架构	通过全球分布式架构将 AI 推理和工具部署在更靠近用户的地方，从而大幅缩短响应时间，为您的 AI Agent 提供卓越的用户体验。

🚀 快速上手

让我们构建一个简单的 AI Agent，通过 LLM Function Calling 来获取天气信息：

第 1 步：安装 CLI

curl -fsSL https://get.yomo.run | sh

验证安装是否成功：

yomo version

第 2 步：启动服务器

创建一个配置文件 my-agent.yaml：

name: my-agent
host: 0.0.0.0
port: 9000

auth:
  type: token
  token: SECRET_TOKEN

bridge:
  ai:
    server:
      addr: 0.0.0.0:9000 ## OpenAI API 兼容的端点
      provider: vllm     ## 使用的 llm

    providers:
      vllm:
        api_endpoint: http://127.0.0.1:8000/v1
        model: meta-llama/Llama-4-Scout-17B-16E-Instruct

      ollama:
        api_endpoint: http://localhost:11434

启动服务器：

yomo serve -c my-agent.yaml

第 3 步：实现 LLM Function Calling

创建一个用于检索天气数据的类型安全函数：

export const description = 'Get the current weather for `city`'

export type Argument = {
  /**
   * The name of the city to be queried
   */
  city: string;
}

export async function handler(args: Argument) {
  // 模拟天气 API 调用
  let temperature = Math.floor(Math.random() * 41)
  // 将结果返回给 LLM
  return { 
    city: args.city, 
    temperature: temperature,
    feels_like: 11.9,
    rain: false,
  }
}

完成编写后，让我们运行它：

$ yomo run -n get-weather

搞定，让我们试一试

$ curl http://127.0.0.1:9000/v1/chat/completions \
-H "Content-Type: application/json" \
-H "Authorization: Bearer SECRET_TOKEN" \
-d '{
  "messages": [
    {
      "role": "user",
      "content": "I am going for a hike on the Yarra Bend Park Loop. What should I wear?"
    }
  ],
  "stream": false
}'

您将收到如下反馈：

For your hike on the Yarra Bend Park Loop, the current weather is clear with a temperature of approximately 12.3°C (feels like 11.9°C). 

Here are some suggestions on what to wear: 

1. **Layers**: Start with a base layer such as a moisture-wicking t-shirt. Add a light sweater or fleece for warmth since it can be chilly. 
2. **Jacket**: Bring a lightweight jacket or windbreaker to keep warm, especially as it is breezy with a southeast wind at 6 km/h with gusts up to 14 km/h. 
3. **Pants**: Comfortable hiking pants or leggings will be suitable. 
4. **Footwear**: Wear sturdy hiking boots or shoes with good grip. 
5. **Accessories**: Consider a hat or beanie for warmth, and bring gloves if you tend to get cold easily. 
6. **Backpack**: Carry a small backpack with water, snacks, and any additional layers you might need. 

Since there is **no rain** expected, you shouldn't need waterproof gear, but it's always wise to check the latest forecast before heading out. Enjoy your hike!

探索更多示例

查看我们的 Serverless LLM Function Calling 示例，了解更多应用场景和灵感。