热门
导航
快讯
推荐文章
热门
导航
快讯
推荐文章
#llama2.mojo
llama2.mojo
llama2.mojo项目展示了如何将llama2模型移植到Mojo中,通过Mojo的SIMD和矢量化原语,将Python性能提升近250倍。在多线程推理中,Mojo版的性能超过了原始llama2.c的30%,在CPU上进行baby-llama推理时,性能超过了llama.cpp的20%。项目当前支持多个模型,包括stories和Tinyllama-1.1B-Chat。用户可以通过简单的命令行步骤或使用Docker在本地部署并运行该项目。
使用协议
隐私政策
广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI
·
鲁ICP备2024100362号-6
·
鲁公网安备37021002001498号