Project Icon

tinyengine

微控制器神经网络库优化内存和性能

TinyEngine是专为微控制器设计的神经网络库,通过原地深度卷积和基于块的推理等技术优化内存管理和推理性能。相比现有解决方案,TinyEngine将推理速度提升1.1-18.6倍,峰值内存减少1.3-3.6倍。作为微控制器AI应用的基础设施,TinyEngine在有限内存预算下实现了更高性能,为微控制器深度学习部署提供了有力支持。

mmengine - 深度学习训练引擎支持大规模模型训练和多种策略
GithubMMEngineOpenMMLabPyTorch开源项目深度学习训练引擎
MMEngine是基于PyTorch的深度学习模型训练基础库,作为OpenMMLab代码库的训练引擎。它集成主流大规模模型训练框架,支持混合精度训练等多种策略,提供友好的配置系统和主流监控平台支持。MMEngine不仅适用于OpenMMLab项目,还可广泛应用于其他深度学习项目。
MNN - 高效轻量的深度学习框架,支持多设备推理和训练
GithubMNN开源项目推理引擎深度学习框架轻量级高性能
MNN是一个高效轻量的深度学习框架,支持设备上的推理和训练。已被阿里巴巴30多个应用集成,覆盖直播、短视频、搜索推荐等70多种场景。MNN适用于嵌入式设备,支持TensorFlow、Caffe、ONNX等多种模型格式,并优化了ARM和x64 CPU及多种GPU的计算性能。通过MNN Workbench,用户可以下载预训练模型、进行可视化训练并一键部署到设备上。
optimization-engine - 高效的非凸优化引擎用于嵌入式系统
GithubOpEn代码生成优化引擎嵌入式优化开源项目非凸优化
Optimization Engine (OpEn)是一个针对非凸参数化优化问题的开源求解器。它采用Rust编写核心算法,具有高效性能和内存安全性。OpEn支持代码自动生成,适用于嵌入式系统中的非线性模型预测控制等场景。该工具简化了复杂优化问题的处理过程,使开发者能更专注于机器人和自主系统等领域的应用开发。
TransformerEngine - 用于在 NVIDIA GPU 上加速 Transformer 模型的库
FP8GithubHopper GPUNVIDIATransformer Engine开源项目深度学习
Transformer Engine是NVIDIA推出的一个库,专门用于在其GPU上加速Transformer模型。该库支持8位浮点(FP8)精度,使训练和推理性能大幅提升的同时,内存使用降低。TE提供了一系列优化的构建模块和混合精度API,适用于各种流行的深度学习框架,保证精度不受影响。通过与主流大型语言模型库的集成,简化了FP8支持的实现,使Transformer模型的训练和推理更加高效和便捷,适用于多种NVIDIA GPU架构。
TengineKit - 多功能AI算法SDK,涵盖人脸检测、特征点定位、3D人脸识别和眼部虹膜追踪等功能
AI算法GithubTengineKit人脸检测开源项目手部检测移动端
由OPEN AI LAB开发,TengineKit提供全方位的AI算法SDK解决方案,覆盖人脸检测、特征点定位、3D人脸识别和眼部虹膜追踪等功能。适用于多种移动设备,保证了优异的跨平台性能和低延迟的实时处理效果。而且,持续的技术更新使得TengineKit在行业中保持领先。
OnnxStream - 适用于低资源设备的模型运行的内存优化的推理库
GithubMistral 7BOnnxStreamStable Diffusion XLTinyLlama开源项目性能
OnnxStream专为优化内存使用而设计,支持在低资源设备上高效运行大型模型如Stable Diffusion和TinyLlama。在仅有512MB RAM的Raspberry Pi Zero 2上,实现图像生成和语言模型推理,而无需额外交换空间或磁盘写入。通过解耦推理引擎与模型权重组件,OnnxStream显著降低内存消耗,提供轻量且高效的推理解决方案。其静态量化和注意力切片技术增强了多种应用中的适应性和性能。
armnn - 针对Arm架构优化的高性能机器学习推理引擎
AndroidArm NNGithubTensorFlow Lite开源项目推理引擎机器学习
Arm NN是为Android和Linux平台设计的机器学习推理引擎,针对Arm Cortex-A CPU和Mali GPU进行了优化。通过Arm架构特定优化和Arm Compute Library,Arm NN在性能上表现出色。该引擎支持TensorFlow Lite和ONNX格式模型,提供TF Lite Delegate和解析器,方便开发者将机器学习模型集成到应用中。Arm NN使用C++17编写,可在多种目标平台和主机环境下构建。
tiny-tensorrt - 简洁易用的nvidia TensorRT封装库,支持通过C++和Python API快速部署Onnx模型
CUDACUDNNGithubTensorRTonnx modeltiny-tensorrt开源项目
tiny-tensorrt是一个简洁易用的nvidia TensorRT封装库,支持通过C++和Python API快速部署Onnx模型。依赖CUDA、CUDNN和TensorRT,兼容多个版本。项目已停止维护,建议使用TensorRT的Python API或trtexec/polygraphy工具。更多信息请参考项目Wiki。
tinyzero - 简易强化学习框架 快速训练类AlphaZero智能体
AlphaZeroGithub开源项目强化学习环境模拟神经网络蒙特卡洛树搜索
tinyzero是一个简易的强化学习框架,用于在任意环境中训练类AlphaZero的智能体。该框架提供简单接口实现新环境、模型和智能体,支持多种游戏类型。tinyzero采用Monte Carlo树搜索和深度学习技术,可在Google Colab上快速部署,适合研究人员和爱好者探索AI在各类任务中的应用。
tinynet_e.in1k - TinyNet模型在ImageNet-1k上的应用与性能分析
GithubHuggingfaceImageNet-1ktimmtinynet_e.in1k图像分类开源项目模型特征提取
TinyNet是一个旨在优化图像分类和特征提取的模型,通过调整分辨率、深度和宽度,在ImageNet-1k上进行训练。模型参数量为2.0M,并具有低计算负荷。提供简便的代码示例以支持图像分类、特征图提取和图像嵌入,可用于多种图像处理场景。同时,通过timm库探索其指标表现,更深入了解其在神经信息处理中的应用。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号