ComputeLibrary

优化Arm架构的开源机器学习函数库

Compute Library 机器学习 ARM架构性能优化开源软件 Github 开源项目

ComputeLibrary是一个专为Arm架构优化的机器学习函数库，支持Cortex-A、Neoverse处理器和Mali GPU。它提供100多个低级机器学习函数，覆盖多种数据类型和卷积算法，并采用微架构优化、内核融合等先进技术。作为开源项目，ComputeLibrary具有高性能、高度可配置的特点，为Arm平台的机器学习应用开发提供了强大支持。

访问官网

Github

介绍相关项目

tiny-dnn - 轻量级C++14深度学习库，适用于嵌入式系统和物联网设备

C++14Githubtiny-dnn嵌入式系统开源项目深度学习物联网设备

tiny-dnn是一个为计算资源有限的嵌入式系统和物联网设备设计的C++14深度学习库。该库无需GPU，通过TBB线程和SSE/AVX向量化实现了高效性能，在13分钟内达到了98.8%的MNIST准确率。其便携的头文件形式使其易于集成，支持多种网络层类型、激活函数、损失函数和优化算法。tiny-dnn还能导入Caffe模型，适合学习和构建神经网络应用。

DeepSpeed - 一个深度学习优化库，专为大规模模型训练和推理设计

DeepSpeedGithub分布式训练大规模模型训练开源项目模型压缩模型推理

DeepSpeed 是一个深度学习优化软件套件，专为大规模模型训练和推理设计，能显著优化系统性能和降低成本。它支持亿级至万亿级参数的高效管理，兼容各种计算环境，从资源受限的GPU系统到庞大的GPU集群。此外，DeepSpeed 在模型压缩和推理领域亦取得创新成就，提供极低的延迟和极高的处理速率。

Olive - 硬件感知型AI模型优化开源工具

AI加速GithubOlive开源框架开源项目模型优化硬件感知

Olive是一个开源的硬件感知型AI模型优化工具，整合了先进的模型压缩、优化和编译技术。它能根据特定模型和目标硬件自动选择最适合的优化方法，在保证精度和延迟的同时，为云端和边缘设备生成高效推理模型。Olive通过简化开发流程和统一优化框架，支持多种硬件平台，有效提升AI模型部署效率。

llm-compressor - 开源大型语言模型压缩优化库

GithubHugging FaceLLM Compressorvllm开源项目模型优化量化

llm-compressor是一个专注于大型语言模型优化和压缩的开源库。它提供全面的量化算法集，支持权重和激活量化，并与Hugging Face模型和仓库无缝集成。该项目采用safetensors文件格式，确保与vllm兼容，同时通过accelerate支持大规模模型处理。llm-compressor涵盖多种量化格式和算法，包括激活量化、混合精度和稀疏化技术，为模型优化提供灵活多样的选择。

MegEngine - 高效、可扩展且易于使用的深度学习框架

GithubMegEngine开源项目深度学习框架硬件需求训练与推理高性能

MegEngine是一个高效、可扩展且易于使用的深度学习框架，具有统一的训练和推理框架、低硬件要求和跨平台高效推理的三大关键特性。支持x86、Arm、CUDA、RoCM等多种平台，兼容Linux、Windows、iOS、Android等系统。通过DTR算法和Pushdown内存规划器，大幅降低GPU内存使用。适用于模型开发到部署的各个环节，致力于构建开放友好的AI社区。

Deep-learning-in-cloud - 深度学习云计算资源和工具综合指南

GithubMLOps云GPU免费计算资源开源项目模型部署深度学习

这个开源项目汇集了云端深度学习资源和工具信息。内容包括GPU云服务比较、云GPU提供商列表、定价和试用信息、模型部署平台、MLOps工具以及学术优惠。项目旨在帮助开发者和企业选择合适的云计算资源，提高模型训练效率并降低成本。此外还提供了模型部署和MLOps相关指导，为深度学习全生命周期提供参考。无论是个人开发者还是企业，都能在这里找到适合自己需求的云计算资源和工具。

cortex - 适用于多引擎的OpenAI兼容AI引擎平台

AI引擎CortexDockerGithubNVIDIAONNX开源项目

Cortex是一个OpenAI兼容的多引擎AI平台，提供命令行界面和客户端库，支持构建LLM应用。支持的引擎包括GGUF、ONNX和TensorRT-LLM，兼容多种硬件平台。Cortex可作为独立服务器运行或作为库导入，适配MacOS、Windows和Ubuntu操作系统。

highway - 多架构支持的高性能SIMD向量化库

GithubHighwaySIMD向量化开源项目性能优化跨平台

Highway是一个跨平台C++向量化库,支持x86、ARM等多种CPU架构的SIMD指令。它提供统一API,实现一次编码多平台运行,支持静态编译和运行时动态调度。Highway适用于图像处理、数据压缩、密码学等领域,提供丰富的向量化操作,易用性和性能兼备,是开发高性能软件的理想选择。

CompressAI - 基于PyTorch的端到端压缩研究开源库

CompressAIGithubPyTorch图像压缩开源项目深度学习评估平台

CompressAI是基于PyTorch的开源库,致力于端到端压缩研究。该库提供深度学习数据压缩的自定义组件、预训练图像压缩模型,以及评估工具用于比较学习型模型与传统编解码器。支持Python 3.8+和PyTorch 1.7+,为压缩技术研究提供了实用平台。

CNTK - 深度学习工具包，支持多种模型，包括DNN、CNN和RNN

CNTKGithubONNX开源开源项目深度学习神经网络

CNTK，微软的开源深度学习工具包，支持多种模型，包括DNN、CNN和RNN。具备自动微分和GPU并行化等高级功能，简化开发和训练流程，并完美支持ONNX，兼容多种AI框架。

相关项目

项目侧边栏1

项目侧边栏2

推荐项目

Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台，利用前沿AI技术，为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图，再到文案生成，美间让创意设计更简单、更高效。

Project Cover

稿定AI

稿定设计是一个多功能的在线设计和创意平台，提供广泛的设计工具和资源，以满足不同用户的需求。从专业的图形设计师到普通用户，无论是进行图片处理、智能抠图、H5页面制作还是视频剪辑，稿定设计都能提供简单、高效的解决方案。该平台以其用户友好的界面和强大的功能集合，帮助用户轻松实现创意设计。

使用协议隐私政策广告服务

投诉举报邮箱: service@vectorlightyear.com

@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号