热门
导航
快讯
推荐文章
热门
导航
快讯
推荐文章
#LLM推理模拟器
Vidur: 微软推出的大规模LLM推理模拟框架
2 个月前
Vidur是微软开发的一个高度精确和可扩展的大语言模型(LLM)推理模拟器,可以帮助用户进行容量规划、测试新的研究想法以及研究不同工作负载和配置下的系统性能,而无需实际访问GPU资源。
Vidur
LLM推理模拟器
系统性能
模型支持
GPU配置
Github
开源项目
2 个月前
相关项目
vidur
Vidur是一款高保真且具扩展性的LLM推理模拟器,适用于容量规划和最佳部署配置测试。无需GPU即可研究不同工作负载下的系统性能,支持多种主流模型和配置,提供线路追踪和多种运行环境搭建指导,并记录详细的性能指标日志。该项目欢迎贡献并遵循微软开放源码行为准则。
查看
使用协议
隐私政策
广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI
·
鲁ICP备2024100362号-6
·
鲁公网安备37021002001498号