#Vidur

vidur

Vidur是一款高保真且具扩展性的LLM推理模拟器，适用于容量规划和最佳部署配置测试。无需GPU即可研究不同工作负载下的系统性能，支持多种主流模型和配置，提供线路追踪和多种运行环境搭建指导，并记录详细的性能指标日志。该项目欢迎贡献并遵循微软开放源码行为准则。