intel-extension-for-pytorch

Intel® Extension for PyTorch* 项目介绍

项目概述

Intel® Extension for PyTorch* 是一个旨在提高 PyTorch* 在英特尔硬件上性能的扩展。该扩展通过先进的优化技术使 PyTorch* 能够充分利用英特尔最新的硬件特性。这包括针对 Intel® Advanced Vector Extensions 512 (Intel® AVX-512) 向量神经网络指令 (VNNI) 和 Intel® Advanced Matrix Extensions (Intel® AMX) 的优化，适用于英特尔 CPU。此外，在英特尔的独立 GPU 上，利用 Intel X^e Matrix Extensions (XMX) AI 引擎进行优化，并通过 PyTorch* 的 xpu 设备实现简单的 GPU 加速。

主要特点

• 增强性能：通过利用英特尔的硬件特性，提升模型的计算速度和性能。
• 支持最新的模型优化：提供针对大型语言模型（LLM）和生成式 AI（GenAI）工作负载的特别优化。
• 模块级优化：从 2.3.0 版本开始，引入了模块级优化 API，能够为常用的 LLM 模块和功能提供优化替代方案。

ipex.llm - 大型语言模型优化

随着生成式 AI 需求的增加，大型语言模型 (LLM) 逐渐成为主流。自 2.1.0 版本起，该扩展针对部分 LLM 引入了特定优化，以实现更优的性能表现。优化的模型列表包括多个知名的模型家族，如 LLAMA、GPT-J、FALCON 和 OPT 等。这些模型在浮点数 (FP32)、半精度浮点数 (BF16) 和不同的量化精度（如 INT8 和 INT4）下均得到了优化支持。

支持与安全

项目团队使用 GitHub 问题追踪系统来处理错误和功能增强请求。在提交建议或问题报告之前，可以先在 GitHub 上查看是否已有类似问题被报告。项目使用 Apache License 2.0 授权。有关安全问题的报告和更多信息，建议访问英特尔的安全中心。

总结

通过对 PyTorch* 模型的优化，Intel® Extension for PyTorch* 项目致力于在英特尔硬件上提供更优越的 AI 计算性能，这对开发者和研究人员而言，是一项非常有价值的工具。项目持续优化并支持更多模型和数据类型，将为深度学习社区带来更广泛的益处。