#CPU优化
oneDNN: 深度神经网络的高性能计算库
3 个月前
相关项目
oneDNN
oneAPI Deep Neural Network Library (oneDNN) 是一个开源的跨平台性能库，提供深度学习应用的核心模块。oneDNN 专为Intel架构处理器、Intel图形处理器和Arm 64位架构处理器进行优化，并实验性支持NVIDIA、AMD、OpenPOWER、IBMz 和 RISC-V 等架构的 GPU 和 CPU。深度学习应用及框架开发者可以利用oneDNN提升在多种硬件上的性能表现。
docs
Neural Magic开源平台提供了一系列工具，包括SparseML、Sparsify、SparseZoo和DeepSparse，用于优化CPU上的深度学习模型性能。这套软件组件支持选择、构建和运行高效率模型，使开发者能在标准CPU硬件上实现接近GPU级别的AI推理速度。
dash-infer
DashInfer是一款针对x86和ARMv9硬件架构优化的C++推理引擎，支持连续批处理和NUMA感知功能。该引擎可充分发挥现代服务器CPU性能，支持推理参数规模达14B的大语言模型。DashInfer采用轻量架构，提供高精度推理和标准LLM推理技术，兼容主流开源大语言模型，并集成了量化加速和优化计算内核等功能。
auto-cpufreq
auto-cpufreq是一个开源的Linux系统CPU频率和电源管理优化工具。它通过监控电池状态、CPU使用率、温度和系统负载,自动调节CPU频率和功耗,在保持性能的同时延长电池使用时间。支持多种处理器架构,适用于笔记本和台式机。提供命令行和图形界面,安装便捷,是优化Linux系统性能和电源管理的实用工具。