#CPU优化
oneDNN - 优化深度学习应用的跨平台性能库,支持多种处理器架构
oneDNNdeep learningoneAPI specificationUXL FoundationCPU优化Github开源项目
oneAPI Deep Neural Network Library (oneDNN) 是一个开源的跨平台性能库,提供深度学习应用的核心模块。oneDNN 专为Intel架构处理器、Intel图形处理器和Arm 64位架构处理器进行优化,并实验性支持NVIDIA、AMD、OpenPOWER、IBMz 和 RISC-V 等架构的 GPU 和 CPU。深度学习应用及框架开发者可以利用oneDNN提升在多种硬件上的性能表现。
docs - Neural Magic深度学习模型CPU性能优化平台
Neural Magic深度学习CPU优化开源软件模型性能Github开源项目
Neural Magic开源平台提供了一系列工具,包括SparseML、Sparsify、SparseZoo和DeepSparse,用于优化CPU上的深度学习模型性能。这套软件组件支持选择、构建和运行高效率模型,使开发者能在标准CPU硬件上实现接近GPU级别的AI推理速度。
dash-infer - 面向x86和ARMv9的高性能大语言模型推理引擎
DashInferLLM推理CPU优化模型量化高性能计算Github开源项目
DashInfer是一款针对x86和ARMv9硬件架构优化的C++推理引擎,支持连续批处理和NUMA感知功能。该引擎可充分发挥现代服务器CPU性能,支持推理参数规模达14B的大语言模型。DashInfer采用轻量架构,提供高精度推理和标准LLM推理技术,兼容主流开源大语言模型,并集成了量化加速和优化计算内核等功能。
auto-cpufreq - 自动优化Linux系统CPU频率和电源管理的开源工具
auto-cpufreqLinuxCPU优化电池优化性能调节Github开源项目
auto-cpufreq是一个开源的Linux系统CPU频率和电源管理优化工具。它通过监控电池状态、CPU使用率、温度和系统负载,自动调节CPU频率和功耗,在保持性能的同时延长电池使用时间。支持多种处理器架构,适用于笔记本和台式机。提供命令行和图形界面,安装便捷,是优化Linux系统性能和电源管理的实用工具。