本项目已不再维护。最近的一个问题使我意识到是时候将这个项目归档了。我没有时间维护它,也没有计划在未来对其进行改进。深度学习领域已经发生了变化,我相信通过适应性演化,新的想法将会出现,使深度学习更加便携,从而使这个项目过时。
这是一个用于开放神经网络交换(ONNX)的Go接口。
概述
onnx-go包含了将onnx二进制模型解码到计算后端的原语,你可以像使用任何其他库一样在你的Go代码中使用它。 有关onnx的更多信息,请访问onnx.ai。
ONNX规范的实现在导入方面是部分完成的,而在导出方面则尚未实现。
愿景声明
对于需要在代码中添加机器学习功能的Go开发者来说, onnx-go是一个便于使用神经网络模型(软件2.0)的包, 与其他计算库不同,这个包不需要数据科学方面的特殊技能。
警告 API仍处于实验阶段,可能会发生变化。
免责声明
这是API的新版本。 已移除Gorgonia的修改版本。现在与Gorgonia的主分支兼容。 不过,某些运算符尚未可用。
添加了一个用于运行模型库中模型的实用工具。
请查看examples
子目录。
安装
通过go get安装
go get github.com/owulveryck/onnx-go
onnx-go与go modules兼容。
示例
这些示例假设你有一个预训练的model.onnx
文件可用。
你可以从onnx模型库下载预训练模型。
非常简单的示例
这个示例只是将图解码到一个简单的后端中。 然后你可以对生成的图做任何你想做的事。
// 创建一个后端接收器
backend := simple.NewSimpleGraph()
// 创建一个模型并设置执行后端
model := onnx.NewModel(backend)
// 读取onnx模型
b, _ := ioutil.ReadFile("model.onnx")
// 将其解码到模型中
err := model.UnmarshalBinary(b)
运行预训练模型的简单示例
这个示例使用Gorgonia作为后端。
import "github.com/owulveryck/onnx-go/backend/x/gorgonnx"
目前,Gorgonia还没有实现ONNX的所有运算符。因此,大多数来自模型库的模型将无法工作。 通过逐步向后端添加更多运算符,情况会逐渐改善。
你可以在这里找到已测试示例的列表和覆盖率。
func Example_gorgonia() {
// 创建一个后端接收器
backend := gorgonnx.NewGraph()
// 创建一个模型并设置执行后端
model := onnx.NewModel(backend)
// 读取onnx模型
b, _ := ioutil.ReadFile("model.onnx")
// 将其解码到模型中
err := model.UnmarshalBinary(b)
if err != nil {
log.Fatal(err)
}
// 设置第一个输入,数量取决于模型
model.SetInput(0, input)
err = backend.Run()
if err != nil {
log.Fatal(err)
}
// 检查错误
output, _ := model.GetOutputTensors()
// 将第一个输出写入stdout
fmt.Println(output[0])
}
模型库
在examples
子目录中,你会找到一个用于运行模型库中模型的实用工具,以及一个使用Tiny YOLO v2分析图片的示例工具。
内部实现
ONNX protobuf定义
onnx的protobuf定义使用经典的protoc
工具编译成Go代码。定义可以在internal
目录中找到。
该定义不对外暴露,以避免对这个仓库的外部依赖。实际上,pb代码可能会改变以使用更高效的编译器,如gogo protobuf
,这种变化对这个包的用户应该是透明的。
执行后端
为了执行神经网络,你需要一个能够执行计算图的后端(有关计算图的更多信息,请阅读这篇博客文章)
这张图表示了机制:
onnx-go本身不提供任何可执行的后端,但作为参考,提供了一个简单的后端作为示例,用于构建信息图(见simple
子包)。
Gorgonia是ONNX-Go的主要目标后端。
后端实现
后端基本上是一个加权有向图,可以对其节点应用操作。它应该满足这个接口:
type Backend interface {
OperationCarrier
graph.DirectedWeightedBuilder
}
type OperationCarrier interface {
// 对图节点应用操作
// graph.Node是一个数组,因为它允许处理多个输出
// 例如,split操作返回n个节点...
ApplyOperation(Operation, ...graph.Node) error
}
操作由其name
和一个属性映射表示。例如,onnx规范中描述的卷积操作将表示如下:
convOperator := Operation{
Name: "Conv",
Attributes: map[string]interface{}{
"auto_pad": "NOTSET",
"dilations": []int64{1, 1},
"group": 1,
"pads": []int64{1, 1},
"strides": []int64{1, 1},
},
}
除了操作符外,节点还可以携带一个值。值被描述为tensor.Tensor
为了携带数据,图的*Node
*应该满足这个接口:
type DataCarrier interface {
SetTensor(t tensor.Tensor) error
GetTensor() tensor.Tensor
}
后端测试
onnx-go提供了一些用于测试后端的实用工具。更多信息请访问testbackend
包。
贡献
欢迎贡献。贡献指南将最终被编写。同时,你可以提出问题或发送PR。 你也可以通过Twitter或gophers' slack联系我(我在两个平台上的用户名都是@owulveryck)
本项目旨在成为一个安全、友好的合作空间,贡献者应遵守贡献者公约行为准则。
作者
许可证
MIT。