Logo
Project Icon

bolt

增强深度学习模型部署的高效轻量级库

Bolt深度学习模型转换推理精度华为Github开源项目

Bolt是一款轻量级深度学习库，旨在提升模型部署效率。它支持Caffe、ONNX、TFLite和Tensorflow的模型转换，提供从FP32到1-BIT的多种推理精度，并适用于ARM和X86 CPU以及多种GPU。该库在华为多个部门广泛应用，具备高性能、丰富的图优化和高效的线程亲和性设置，提升时序数据处理效率。

访问官网访问官网GithubGithub
介绍相关项目
onnxruntime - 跨平台的机器学习模型推理与训练加速工具
GithubONNX Runtime开源项目机器学习模型训练深度学习硬件加速
ONNX Runtime是一款跨平台的机器学习推理和训练加速工具，兼容PyTorch、TensorFlow/Keras、scikit-learn等深度学习框架及传统机器学习库。它支持多种硬件和操作系统，通过硬件加速和图优化实现最佳性能，显著提升模型推理和训练速度，尤其在多节点NVIDIA GPU上的Transformer模型训练中表现出色。
FastDeploy - 多场景AI模型部署工具
AI模型部署FastDeployGithubNLPPaddlePaddle开源项目视觉任务
高性能AI模型部署工具，支持文本、视觉、语音及跨模态模型的优化，适用于云端、移动端和边缘设备。支持160多种模型，涵盖图像分类、目标检测、OCR、人脸检测、抠图、跟踪、NLP、语音合成等任务，满足多场景、多硬件、多平台的需求。
DeepSpeed - 一个深度学习优化库，专为大规模模型训练和推理设计
DeepSpeedGithub分布式训练大规模模型训练开源项目模型压缩模型推理
DeepSpeed 是一个深度学习优化软件套件，专为大规模模型训练和推理设计，能显著优化系统性能和降低成本。它支持亿级至万亿级参数的高效管理，兼容各种计算环境，从资源受限的GPU系统到庞大的GPU集群。此外，DeepSpeed 在模型压缩和推理领域亦取得创新成就，提供极低的延迟和极高的处理速率。
Olive - 硬件感知型AI模型优化开源工具
AI加速GithubOlive开源框架开源项目模型优化硬件感知
Olive是一个开源的硬件感知型AI模型优化工具，整合了先进的模型压缩、优化和编译技术。它能根据特定模型和目标硬件自动选择最适合的优化方法，在保证精度和延迟的同时，为云端和边缘设备生成高效推理模型。Olive通过简化开发流程和统一优化框架，支持多种硬件平台，有效提升AI模型部署效率。
BoltAI - Mac原生AI助手 提升工作效率
AI助手AI工具BoltAIOpenAImacOS应用生产力工具
BoltAI是Mac原生AI助手，支持多种AI服务。提供代码辅助、内容创作、学习加速等功能，适用于开发者、营销人员和学生。快速、强大、可定制，注重隐私安全，助力提升AI时代工作效率。
tiny-dnn - 轻量级C++14深度学习库，适用于嵌入式系统和物联网设备
C++14Githubtiny-dnn嵌入式系统开源项目深度学习物联网设备
tiny-dnn是一个为计算资源有限的嵌入式系统和物联网设备设计的C++14深度学习库。该库无需GPU，通过TBB线程和SSE/AVX向量化实现了高效性能，在13分钟内达到了98.8%的MNIST准确率。其便携的头文件形式使其易于集成，支持多种网络层类型、激活函数、损失函数和优化算法。tiny-dnn还能导入Caffe模型，适合学习和构建神经网络应用。
BitNet-Transformers - 缩放1-bit大语言模型，提高GPU内存利用率
BitNet-TransformersGithubHuggingfaceLLama(2)Wikitext-103pytorch开源项目
BitNet-Transformers项目使用Llama (2)架构，并通过1-bit权重缩放技术，实现对大型语言模型的高效训练和推理。该项目基于Huggingface Transformers，显著降低了GPU内存占用，从原始LLAMA的250MB减少到BitNet模型的最低要求。用户可通过wandb实时追踪训练进度，并在Wikitext-103上进行训练。项目提供了详细的开发环境配置和训练步骤指南，为研究者和开发者提供有力支持。
tiny-cuda-nn - 专注于快速训练和查询神经网络的开源框架
C++编程CUDAGPUGithubTiny CUDA Neural Networks开源项目深度学习
Tiny CUDA Neural Networks是一个紧凑、高效的开源框架，专注于快速训练和查询神经网络。它包含优化的多层感知器（MLP）和多分辨率哈希编码，并支持多种输入编码、损失函数和优化器。适用于NVIDIA GPU，通过C++/CUDA API和PyTorch扩展，助力高性能计算和深度学习项目。
neural-compressor - 开源深度学习模型压缩工具库
GithubIntel Neural Compressor大语言模型开源项目模型压缩深度学习框架量化
Neural Compressor是一款开源深度学习模型压缩工具库，支持TensorFlow、PyTorch和ONNX Runtime等主流框架。它提供量化、剪枝、知识蒸馏等多种压缩技术，适用于Intel等多种硬件平台。该工具支持大语言模型优化，并与主流云服务和AI生态系统集成。其自动化的精度感知量化策略有助于平衡模型性能和精度。
booster - 大规模GPT模型部署和高效推理加速器
AI绘图BoosterGPTGithubGolangLLM加速开源项目
Large Model Booster利用Golang和C++技术构建高性能且可扩展的LLM推理加速器，适用于生产环境中的GPTs大规模部署和独立模型实验。支持多种现代CPU和GPU，包括Intel、AMD、ARM64、Apple Silicon及Nvidia CUDA等，支持大模型切分及FP16/FP32和量化版本。涵盖LLaMA、Mistral、Gemma等主流LLM架构，提供SOTA Janus Sampling实现。项目提供详细的编译到部署指南，并支持OpenAI和Ollama的兼容API端点。
相关项目
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

Project Cover

问小白

问小白是一个基于 DeepSeek R1 模型的智能对话平台，专为用户提供高效、贴心的对话体验。实时在线，支持深度思考和联网搜索。免费不限次数，帮用户写作、创作、分析和规划，各种任务随时完成！

Project Cover

白日梦AI

白日梦AI提供专注于AI视频生成的多样化功能，包括文生视频、动态画面和形象生成等，帮助用户快速上手，创造专业级内容。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

讯飞绘镜

讯飞绘镜是一个支持从创意到完整视频创作的智能平台，用户可以快速生成视频素材并创作独特的音乐视频和故事。平台提供多样化的主题和精选作品，帮助用户探索创意灵感。

Project Cover

讯飞文书

讯飞文书依托讯飞星火大模型，为文书写作者提供从素材筹备到稿件撰写及审稿的全程支持。通过录音智记和以稿写稿等功能，满足事务性工作的高频需求，帮助撰稿人节省精力，提高效率，优化工作与生活。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

Project Cover

Trae

Trae是一种自适应的集成开发环境（IDE），通过自动化和多元协作改变开发流程。利用Trae，团队能够更快速、精确地编写和部署代码，从而提高编程效率和项目交付速度。Trae具备上下文感知和代码自动完成功能，是提升开发效率的理想工具。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具，简化了选题、文献检索至论文撰写的整个过程。通过简单设定，平台可快速生成高质量论文大纲和全文，配合图表、参考文献等一应俱全，同时提供开题报告和答辩PPT等增值服务，保障数据安全，有效提升写作效率和论文质量。

使用协议隐私政策广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号