热门
导航
快讯
推荐文章
热门
导航
快讯
推荐文章
#LLM运行库
ipex-llm入门学习资料汇总 - Intel开发的加速LLM推理和微调的PyTorch库
1 个月前
ipex-llm是Intel开发的PyTorch库,用于在Intel CPU和GPU上加速LLM推理和微调,支持多种主流LLM模型。本文汇总了ipex-llm的入门学习资料,包括项目介绍、安装使用、代码示例、性能测试等内容,帮助读者快速上手这一强大的LLM加速工具。
IPEX-LLM
英特尔
LLM运行库
AI
PyTorch
Github
开源项目
1 个月前
IPEX-LLM: 加速英特尔CPU和GPU上的大语言模型推理
2 个月前
IPEX-LLM是一个用于在英特尔CPU和GPU上以极低延迟运行大语言模型的PyTorch库。它提供了先进的LLM推理和微调优化,支持低比特(INT4/FP4/INT8/FP8)加速,并与Hugging Face、LangChain、LlamaIndex等社区库无缝集成。
IPEX-LLM
英特尔
LLM运行库
AI
PyTorch
Github
开源项目
2 个月前
相关项目
ipex-llm
IPEX-LLM是专为Intel CPU和GPU设计的PyTorch库,能高效运行多种大型语言模型如LLaMA2和Mistral,确保极低延迟。支持最新技术如Microsoft的GraphRAG和多模态模型,及英特尔新型NPU。提供一体化易用性并针对多GPU优化,包括实时演示和详尽的性能基准。
查看
使用协议
隐私政策
广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI
·
鲁ICP备2024100362号-6
·
鲁公网安备37021002001498号