热门
导航
快讯
推荐文章
热门
导航
快讯
推荐文章
#OnnxStream
OnnxStream: 轻量级ONNX推理引擎助力边缘设备运行大型AI模型
2 个月前
OnnxStream是一个用C++编写的轻量级ONNX推理库,能够在树莓派Zero 2等边缘设备上运行Stable Diffusion XL等大型AI模型,同时也支持在桌面和服务器上运行Mistral 7B等大语言模型。
OnnxStream
Stable Diffusion XL
TinyLlama
Mistral 7B
性能
Github
开源项目
2 个月前
相关项目
OnnxStream
OnnxStream专为优化内存使用而设计,支持在低资源设备上高效运行大型模型如Stable Diffusion和TinyLlama。在仅有512MB RAM的Raspberry Pi Zero 2上,实现图像生成和语言模型推理,而无需额外交换空间或磁盘写入。通过解耦推理引擎与模型权重组件,OnnxStream显著降低内存消耗,提供轻量且高效的推理解决方案。其静态量化和注意力切片技术增强了多种应用中的适应性和性能。
查看
使用协议
隐私政策
广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI
·
鲁ICP备2024100362号-6
·
鲁公网安备37021002001498号