yomo - 开源LLM函数调用框架和地理分布式AI应用构建平台

项目介绍：YoMo

YoMo 是一个开源的 LLM 函数调用框架，用于构建地理分布式的 AI 应用程序。基于 QUIC 传输协议和有状态无服务器架构，YoMo 旨在使您的 AI 应用低延迟、可靠、安全且易于使用。

核心理念

YoMo 非常注重在 AI 技术时代的用户体验，致力于提高 AI 应用程序的响应速度和安全性。

特点

⚡️ 低延迟：YoMo 通过采用 QUIC 协议，保证了数据传输的低延迟。
🔐 安全性：每个数据包都通过设计使用 TLS v1.3 加密，确保数据安全。
📸 有状态无服务器架构：能够让 GPU 无服务器实现速度提升 10 倍。
🌎 地理分布式架构：将 AI 推理更靠近终端用户，从而提高响应速度。
🚀 Y3 编解码器：YoMo 推出的高效编解码工具，比实时编解码更快。

如何开始

为了在 YoMo 中实现一个函数调用，可以按照以下步骤操作：

第一步：安装 CLI 工具

可以使用以下命令安装 YoMo 的 CLI 工具：

curl -fsSL https://get.yomo.run | sh

安装后，可以通过以下命令验证是否成功：

yomo version

第二步：启动服务器

准备一个名为 my-agent.yaml 的配置文件，例如：

name: ai-zipper
host: 0.0.0.0
port: 9000

auth:
  type: token
  token: SECRET_TOKEN

bridge:
  ai:
    server:
      addr: 0.0.0.0:8000 # RESTful API 终端
      provider: openai # 使用的 LLM API 服务提供商

    providers:
      openai:
        api_key: sk-xxxxxxxxxxxxxxxxxxxxxxxxxxx
        model: gpt-4-1106-preview
      # 其他提供商配置...

启动服务器：

YOMO_LOG_LEVEL=debug yomo serve -c my-agent.yaml

第三步：编写函数

定义一个函数用来返回网站域名的 IP 和网络延迟：

type Parameter struct {
	Domain string `json:"domain" jsonschema:"description=Domain of the website,example=example.com"`
}

func Description() string {
	return `if user asks ip or network latency of a domain, you should return the result of the giving domain. try your best to dissect user expressions to infer the right domain names`
}

func InputSchema() any {
	return &Parameter{}
}

func Handler(ctx serverless.Context) {
	var msg Parameter
	ctx.ReadLLMArguments(&msg)
	// 获取域名的 IP 地址及其网络延迟
	ips, _ := net.LookupIP(msg.Domain)
	pinger, _ := ping.NewPinger(ips[0].String())
	pinger.Count = 3
	pinger.Run()
	stats := pinger.Statistics()
	val := fmt.Sprintf("domain %s has ip %s with average latency %s", msg.Domain, ips[0], stats.AvgRtt)
	ctx.WriteLLMResult(val)
}

最后，运行代码：

yomo run app.go

完成

启动后，可以通过以下命令测试结果：

curl -i http://127.0.0.1:9000/v1/chat/completions -H "Content-Type: application/json" -d '{
  "messages": [
    {
      "role": "system",
      "content": "You are a test assistant."
    },
    {
      "role": "user",
      "content": "Compare website speed between Nike and Puma"
    }
  ],
  "stream": false
}'

目标：专注于地理分布式 AI 推理基础架构

对于用户而言，AI 的推理响应速度非常重要。如果 AI 应用能够在离用户更近的地方部署，将更好地满足用户的实时需求。这也正是 Geo-distributed 系统架构的目标所在。

参与贡献

社区的参与是 YoMo 不断发展和改善的重要动力。如果您有兴趣参与贡献，欢迎阅读我们的贡献指南。

许可证

YoMo 使用 Apache License 2.0。