#优化

Intel AI 参考模型全面解析:加速深度学习工作负载的利器

3 个月前
Cover of Intel AI 参考模型全面解析:加速深度学习工作负载的利器

Intel® Extension for PyTorch: 加速深度学习性能的开源解决方案

3 个月前
Cover of Intel® Extension for PyTorch: 加速深度学习性能的开源解决方案

x-stable-diffusion: 加速Stable Diffusion推理的最新技术

3 个月前
Cover of x-stable-diffusion: 加速Stable Diffusion推理的最新技术

GLake:优化GPU内存管理与IO传输的开源项目

3 个月前
Cover of GLake:优化GPU内存管理与IO传输的开源项目

LMFlow: 一个用于大型基础模型微调和推理的可扩展工具包

3 个月前
Cover of LMFlow: 一个用于大型基础模型微调和推理的可扩展工具包

Fay: 革命性的开源数字人框架

3 个月前
Cover of Fay: 革命性的开源数字人框架
相关项目
Project Cover

glake

GLake优化了GPU内存管理和IO传输,解决了AI大模型训练和推理中的内存和传输瓶颈。通过GPU虚拟和物理内存管理及多GPU、多路径和多任务优化,提高了硬件资源利用率,最高可将训练吞吐量提高4倍,推理内存降低3倍,IO传输加速3至12倍。GLake易于集成,无需代码修改,且提供内存优化、多路径IO传输提升、和数据去重等功能,为AI训练与推理提供高效、安全的解决方案。

Project Cover

LMFlow

LMFlow为大型机器学习模型微调提供一个可扩展、便捷且高效的开源工具箱,支持多种优化功能,如自定义优化器训练、LISA算法等,已广泛应用于机器学习领域。

Project Cover

ai-reference-models

该存储库含有预训练模型、示例脚本、最佳实践和详细教程,针对优化机器学习模型在Intel® Xeon® 可扩展处理器和Intel® 数据中心GPU上的表现。文档涵盖了使用TensorFlow和PyTorch进行推理与训练的详细步骤,并提供了针对Sapphire Rapids和Intel® Data Center GPU Flex及Max系列的性能优化指南,展示了在最佳硬件配置下的AI性能。

Project Cover

x-stable-diffusion

该项目包含多种加速Stable Diffusion模型的技术,旨在更高效生成图像并节省资源。通过示例图像和详细的基准测试,用户可以轻松选择最佳技术。借助stochasticx命令行工具,用户可以快速在本地部署模型。项目还支持在Google Colab上运行,提供包括AITemplate、nvFuser、FlashAttention和TensorRT在内的多种优化工具。

Project Cover

intel-extension-for-pytorch

Intel® Extension for PyTorch* 提供优化功能,利用Intel® AVX-512 VNNI、AMX以及XMX AI引擎,提升Intel CPU和GPU上的深度学习性能。该扩展优化了大规模语言模型(LLMs),如LLAMA、GPT-J、GPT-NEOX等,支持多种量化方法(如FP32、BF16、INT8、INT4)。此外,自2.3.0版本起,还引入了模块级优化API,为定制模型优化提供了更多选项。

Project Cover

Win11Debloat

Win11Debloat是一个开源的PowerShell脚本,专为优化Windows 11设计。它能移除预装应用、禁用遥测、清理界面,并支持自定义或默认设置。功能包括移除广告、禁用Bing搜索、调整任务栏等。所有更改可轻松还原,确保系统安全。这个工具为用户提供了一种简单有效的方式来增强Windows 11的性能和用户体验。

Project Cover

OMLT

OMLT是一个将机器学习模型整合到Pyomo优化环境的Python工具包。它支持神经网络和梯度提升树模型,提供全空间、简化空间和混合整数线性规划等优化formulation。OMLT可导入Keras和ONNX模型,并提供详细文档和示例,方便研究人员和工程师在优化问题中应用机器学习技术。

Project Cover

PySCIPOpt

PySCIPOpt是一个Python接口库,用于访问SCIP优化套件。它能通过Python构建和求解数学优化模型,支持开发自定义插件如定价器和启发式算法。PySCIPOpt安装简便,易于使用,功能全面,适用于多种优化问题。项目定期更新,文档完善,为Python编程和高性能优化求解提供了有效连接。

Project Cover

Fay

Fay是一个先进的开源数字人框架,提供多版本定制服务,包括带货、助理和agent三个主要版本。近期更新集中在提升兼容性、增强人机交互效果及优化UI体验,新接入多种技术如SenseVoice和private-gpt,为用户提供更流畅、高效的数字人使用体验。框架支持最新的Python版本,并针对不同场景下的用户需求进行细致优化,确保提供最佳解决方案。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号