Project Icon

intel-extension-for-pytorch

通过最新优化提升Intel硬件的深度学习性能

Intel® Extension for PyTorch* 提供优化功能,利用Intel® AVX-512 VNNI、AMX以及XMX AI引擎,提升Intel CPU和GPU上的深度学习性能。该扩展优化了大规模语言模型(LLMs),如LLAMA、GPT-J、GPT-NEOX等,支持多种量化方法(如FP32、BF16、INT8、INT4)。此外,自2.3.0版本起,还引入了模块级优化API,为定制模型优化提供了更多选项。

vllm - 高性能与易用性的LLM推理与服务平台
GithubLLM服务PagedAttentionvLLM开源项目量化高吞吐量
vLLM是一个高性能且易用的LLM推理与服务平台,具备PagedAttention内存管理、CUDA/HIP图形加速、量化支持、并行解码算法及流式输出等技术优势。vLLM无缝集成Hugging Face模型,兼容多种硬件设备,支持分布式推理和OpenAI API。最新版本支持Llama 3.1和FP8量化。用户可通过pip安装并参考详细文档快速入门。
AI-Playground - 英特尔GPU驱动的AI创作平台 提供图像生成和对话功能
AI PlaygroundGPUGithub图像生成开源项目聊天机器人英特尔
AI Playground是一个开源项目,为搭载英特尔Arc GPU或Core Ultra-H处理器的PC提供AI图像生成、风格化和对话功能。该项目支持PyTorch LLM、SD1.5和SDXL模型,整合了GitHub和Hugging Face的资源。用户可通过安装程序或源代码部署,并可自由添加模型。AI Playground为AI爱好者和开发者提供了一个实验平台,促进AI应用创新。
torch-mlir - 为PyTorch生态系统提供高级编译器支持,并实现与MLIR生态系统的高效集成
GithubLLVMMLIRPyTorchTorch-MLIRTorchScript开源项目
Torch-MLIR项目为PyTorch生态系统提供高级编译器支持,并实现与MLIR生态系统的高效集成。通过多种路径,该项目能够将PyTorch模型转换成Torch MLIR方言,简化硬件供应商的开发过程。此外,还提供了预构建快照,便于安装和使用,并通过示例指导用户完成模型转换和结果运行。该项目是LLVM孵化器的一部分,正在持续发展,且拥有广泛的社区支持和交流渠道。
ppl.nn - 用于 AI 推理的高性能深度学习推理引擎
GithubONNXOpenMMLabPPLNN卷积神经网络开源项目深度学习推理
PPLNN是一款高效的深度学习推理引擎,兼容各种ONNX模型,并对OpenMMLab进行了优化。其最新的LLM引擎包括闪存注意力、分裂K注意力、动态批处理和张量并行等功能,并支持INT8分组和通道量化。项目发布了多个LLM模型,如LLaMA、ChatGLM和Baichuan,并提供详细的构建和集成指南。
executorch - 移动和边缘设备上高效运行PyTorch模型的解决方案
ExecuTorchGithubPyTorch开源项目推理能力模型部署边缘设备
ExecuTorch 提供端到端解决方案,实现移动和边缘设备上的推理能力,涵盖穿戴设备、嵌入式设备和微控制器。作为 PyTorch Edge 生态系统的一部分,ExecuTorch 通过轻量级运行时,利用硬件能力(如 CPU、NPU 和 DSP),高效地将 PyTorch 模型部署到多种平台。其主要优势包括:广泛的兼容性、开发效率和出色的用户体验。欲了解更多技术细节和教程,请访问文档网站获取最新版本。
lightning-flash - 跨数据领域和任务的AI模型训练与处理解决方案
AIGithubPyTorchlightning-flash开源项目模型训练深度学习
Lightning Flash提供多任务和多数据领域的AI解决方案,用户只需三步即可完成数据加载、模型配置和微调。项目支持多种预训练模型和优化策略,简化深度学习工作流程,适用于各种数据域和任务类型。其功能包括模型预测、训练策略、优化器和调度器选择,以及自定义数据变换。Flash旨在让用户无需自行开发复杂的研究框架,即可在生产环境中应用AI模型。
tensorflow-directml-plugin - DirectML驱动的TensorFlow硬件加速插件
DirectMLGPU加速GithubTensorFlowWindows开源项目机器学习
TensorFlow-DirectML-Plugin是基于DirectML的TensorFlow插件,为Windows 10和WSL提供跨厂商硬件加速。该插件利用Pluggable Device API,支持在DirectX 12兼容硬件上训练和推理机器学习模型。目前处于早期开发阶段,兼容Python 3.8-3.11,支持AMD、Intel和NVIDIA主流GPU。该插件旨在为Windows平台的TensorFlow用户提供更多硬件加速选择。
awesome-huge-models - 大型AI模型最新动态与开源资源汇总
AI训练GithubLLMdeep learning模型大模型开源开源项目
详尽介绍大型AI语言模型最新进展及开源资源,包括训练代码、数据集和预训练权重。收录Baichuan、Falcon、OpenLLaMA等模型,并关注开源与分布式训练框架如PyTorch和XLA生态。提供全面资源链接,帮助研究人员和开发者了解当前AI模型的最前沿动态。
CALM-pytorch - 组合式增强大型语言模型框架
CALMGithubLLM人工智能开源项目深度学习神经网络
CALM-pytorch是基于Google Deepmind研究的开源PyTorch实现,旨在通过组合多个专业LLM来增强大型语言模型的能力。该框架支持集成任意数量的增强型模型,提供灵活的连接配置和便捷的训练工具。CALM-pytorch可与多种Transformer架构兼容,包括视觉Transformer,为研究人员和开发者提供了一个强大的平台来探索和扩展LLM的潜力。不仅支持文本处理,还能整合视觉和音频模型,为多模态AI应用开发提供了强大支持。
Stable-Diffusion-WebUI-TensorRT - TensorRT优化Stable Diffusion在NVIDIA RTX GPU上的性能
AI绘图GithubNVIDIA GPUStable DiffusionTensorRT开源项目性能优化
这个扩展通过TensorRT优化引擎,显著提升了Stable Diffusion在NVIDIA RTX GPU上的性能。它兼容SD 1.5、2.1、SDXL和SDXL Turbo等多个版本。扩展提供了简便的默认引擎生成和快速启用功能,同时支持LoRA转换与应用。为满足不同需求,扩展提供多种引擎类型,可适应各种分辨率和批量大小。高级用户还可进行个性化设置,灵活调整性能参数。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号