#量化推理
Intel Extension for Transformers入门指南 - 加速Transformer模型的工具包
1 个月前
Intel Extension for Transformers: 加速AI模型在英特尔平台上的部署与优化
2 个月前
相关项目
intel-extension-for-transformers
Intel® Extension for Transformers是专为提升基于Transformer架构的GenAI/LLM模型而设计的先进工具包。本工具包支持多种平台,如Intel Gaudi2、CPU和GPU,并整合了Hugging Face transformers APIs与Intel® Neural Compressor,提供顺畅的模型压缩过程和多样化的优化选择。此外,工具包含可定制的NeuralChat聊天机器人框架,为用户带来高效的AI交互体验。
CodeGeeX2
CodeGeeX2是基于ChatGLM2架构的多语言代码生成模型,经600B代码数据预训练。支持超过100种编程语言,在多项指标上性能显著提升。模型具备代码补全、解释、翻译等功能,可显著提高开发效率。CodeGeeX2开放学术研究使用,商用需申请授权。