项目介绍:ort
ort
是一个为 Rust 提供的非官方 ONNX Runtime 1.20 封装,它基于里程已经终止的 onnxruntime-rs
项目开发而来。ONNX Runtime 是一个可以在 CPU 和 GPU 上加速机器学习推理和训练的工具。
📖 文档指南
为方便用户理解和使用 ort
,项目提供了详尽的文档支持:
- 指南:用户可以通过该指南快速上手及了解项目详情。
- API 参考:提供了
ort
的详细 API 文档。 - 示例:在 GitHub 的
ort
示例目录中,用户可以找到各种使用示例。 - 版本迁移:帮助用户从 v1.x 迁移至 v2.0。
🤔 技术支持
为了更好地服务于用户,ort
提供多种技术支持渠道:
- Discord:用户可以加入 Discord 中的
#💬|ort-discussions
频道,进行讨论和交流。 - GitHub Discussions:在 GitHub 的讨论区,用户可以发布问题并与社区互动。
- 电子邮件:用户可以通过邮件与项目团队进行直接沟通。
💖 使用 ort
的项目
ort
被应用于多个知名项目中,以其强大的推理能力提升项目性能:
- Twitter:利用
ort
服务于数亿用户的首页推荐。 - Bloop:借助
ort
实现语义代码搜索。 - edge-transformers:在边缘设备上利用
ort
进行加速 transformer 模型推理。 - Ortex:在 Elixir 中实现安全的 ONNX Runtime 绑定。
- Supabase:通过
ort
减少边缘函数的冷启动时间。 - Lantern:使用
ort
在 Postgres 中进行嵌入模型推理。 - Magika:借助
ort
实现内容类型检测。 - sbv2-api:通过
ort
快速实现 Style-BERT-VITS2 文本到语音转换。
🌠 赞助 ort
ort
项目接受赞助,赞助者可以通过 Open Collective 参与支持,助力项目持续发展。
ort
项目凭借其高效和灵活的特性,赢得了多个知名项目的信任,如果您从事与机器学习推理相关的工作,ort
可能是一个值得考虑的选择。