#LLM运行库

ipex-llm

IPEX-LLM是专为Intel CPU和GPU设计的PyTorch库，能高效运行多种大型语言模型如LLaMA2和Mistral，确保极低延迟。支持最新技术如Microsoft的GraphRAG和多模态模型，及英特尔新型NPU。提供一体化易用性并针对多GPU优化，包括实时演示和详尽的性能基准。