Project Icon

ONE

跨平台设备内神经网络推理引擎

ONE (On-device Neural Engine) 是一个开源的高性能神经网络推理框架,专为设备端部署而设计。它能在CPU、GPU、DSP和NPU等多种处理器上执行神经网络模型推理。ONE基于Linux内核,兼容Ubuntu、Tizen和Android等操作系统,并提供统一的编译器工具链,支持TensorFlow、PyTorch等主流框架训练的模型。

Onetab AI - 集成式开发生产力优化平台
AI工具内容定位用户体验网站功能网页跳转页面导航
Onetab AI整合了编码工具、项目管理和协作解决方案,为开发者提供统一的生产力平台。通过简化工作流程,减少工具切换时间,帮助开发团队提高效率,加快项目完成速度。该平台旨在优化开发过程,提升整体生产力,为开发者创造更高效的工作环境。Onetab AI不仅提供智能代码补全和错误检测功能,还支持实时团队协作和版本控制,全方位提升开发体验。
onnxruntime-genai - 设备端高效运行LLM模型的灵活解决方案
GithubLLMONNX Runtime开源项目模型架构生成式AI硬件加速
onnxruntime-genai是一个用于设备端高效运行大型语言模型的API。它支持Gemma、Llama、Mistral等多种模型架构,提供多语言接口。该项目实现了生成式AI的完整流程,包括预处理、推理、logits处理等。开发者可以使用generate()方法一次性生成输出或实现逐token流式输出。onnxruntime-genai为本地部署和运行LLM模型提供了简单、灵活、高性能的解决方案。
AIOS - 嵌入大型语言模型的智能操作系统新范式
AIOSGithub大语言模型开源开源项目操作系统智能代理
AIOS是一个创新的大型语言模型(LLM)代理操作系统,将LLM嵌入操作系统作为智能核心。它解决LLM代理开发和部署中的调度、上下文切换和内存管理等问题,为开发者和用户打造优化生态系统。AIOS在OS内核之上提供LLM内核抽象,简化代理的安装、执行和使用,并通过SDK加速开发与部署流程。
docs - Neural Magic深度学习模型CPU性能优化平台
CPU优化GithubNeural Magic开源软件开源项目模型性能深度学习
Neural Magic开源平台提供了一系列工具,包括SparseML、Sparsify、SparseZoo和DeepSparse,用于优化CPU上的深度学习模型性能。这套软件组件支持选择、构建和运行高效率模型,使开发者能在标准CPU硬件上实现接近GPU级别的AI推理速度。
Efficient-Computing - 华为诺亚方舟实验室开发的AI模型优化技术集合
GithubHuawei Noah's Ark Lab开源项目模型压缩深度学习神经网络高效计算
Efficient-Computing项目旨在提高AI模型的计算效率和性能。这个由华为诺亚方舟实验室开发的高效计算方法集合包含多个子项目,涵盖了模型压缩、二值神经网络、知识蒸馏、网络剪枝、模型量化、自监督学习、训练加速、目标检测和低层视觉等领域的技术。该项目为AI研究和开发提供了多样化的工具和资源。
onnx-go - 面向Go语言的ONNX模型解析和运行接口
GithubGorgoniaGo语言ONNX开源项目深度学习神经网络
onnx-go项目提供了一个Go语言接口,用于解析和运行ONNX二进制模型,帮助开发者轻松集成机器学习功能。虽然其API仍然是实验性的,但它不需要数据科学方面的专业知识。该项目已停止维护,且随着深度学习领域的发展,预计会被新的解决方案取代。
mllm - 轻量级移动设备多模态大语言模型推理引擎
AI推理引擎Githubmultimodal LLM开源项目移动设备边缘计算量化
mllm是一款针对移动和边缘设备优化的多模态大语言模型推理引擎。该引擎采用纯C/C++实现,无外部依赖,支持ARM NEON和x86 AVX2指令集,并提供4位和6位整数量化。开发者可利用mllm构建智能个人助理、基于文本的图像搜索、屏幕视觉问答等移动应用,实现本地推理而无需上传敏感数据。
Aidget - 边端AI算法部署工具链 高性能推理和自动化模型压缩
AidgetGithub开源项目模型压缩深度学习推理引擎边端AI高性能计算
Aidget是一款边端AI算法部署工具链,集成高性能深度学习推理引擎和模型自动化压缩功能。适用于多种边端系统和平台,支持ONNX和TFLite等多种模型格式。特点包括轻量级部署、强通用性、易用性和高性能推理。已在智能家电领域得到实际应用,有效解决AI算法部署中的资源限制、性能优化和跨平台兼容性等问题。
sherpa-ncnn - 轻量级多平台实时语音识别工具
AndroidGithubsherpa-ncnn多平台实时开源项目语音识别
sherpa-ncnn 是一个开源的实时语音识别项目,支持 Linux、macOS、Windows 及嵌入式设备。基于 ncnn 框架开发,无需依赖 PyTorch,具有轻量化和高效性特点。项目提供详细文档、演示视频和 Android 应用开发指南。支持多语言识别和背景噪音处理,适用于各种语音识别应用场景。
sparseml - 神经网络优化工具,简化代码实现高效稀疏模型
GithubSparseML开源项目推理优化模型优化神经网络稀疏化
SparseML是开源模型压缩工具包,使用剪枝、量化和蒸馏算法优化推理稀疏模型。可导出到ONNX,并与DeepSparse结合,在CPU上实现GPU级性能。适用于稀疏迁移学习和从零开始的稀疏化,兼容主流NLP和CV模型,如BERT、YOLOv5和ResNet-50,实现推理速度和模型大小的显著优化。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

白日梦AI

白日梦AI提供专注于AI视频生成的多样化功能,包括文生视频、动态画面和形象生成等,帮助用户快速上手,创造专业级内容。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

讯飞绘镜

讯飞绘镜是一个支持从创意到完整视频创作的智能平台,用户可以快速生成视频素材并创作独特的音乐视频和故事。平台提供多样化的主题和精选作品,帮助用户探索创意灵感。

Project Cover

讯飞文书

讯飞文书依托讯飞星火大模型,为文书写作者提供从素材筹备到稿件撰写及审稿的全程支持。通过录音智记和以稿写稿等功能,满足事务性工作的高频需求,帮助撰稿人节省精力,提高效率,优化工作与生活。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号