Project Icon

frugally-deep

在C++中运行Keras模型,无需依赖TensorFlow的小型的头文件库

frugally-deep是一个小型的头文件库,允许在C++中运行Keras模型进行预测而无需依赖TensorFlow。它依赖于FunctionalPlus、Eigen和json头文件库,支持复杂的模型拓扑,并显著减小二进制大小。项目特点包括支持多种层类型、节省RAM以及通过并行处理提高预测性能。frugally-deep在单核CPU上表现相对较快,适合内存敏感和需要快速部署的应用。

项目介绍:frugally-deep

什么是 frugally-deep?

frugally-deep 是一个小巧而强大的工具,用于在 C++ 中无缝运行 Keras 模型的预测。它最适合那些希望在 Python 中利用 Keras 构建和训练模型,但在实际应用中希望使用 C++ 运行这些模型的人。与 TensorFlow 的直接链接不同,frugally-deep 提供了一种轻量级的替代方案。

frugally-deep 的特点

  • 纯头文件库:frugally-deep 是一个完全用现代 C++ 编写的头文件库,非常容易集成和使用。
  • 依赖管理简单:它仅依赖三个其他头文件库:[FunctionalPlus, Eigen, 和 json]。
  • 支持多种模型:不仅支持 Keras 中的顺序模型,还支持功能 API 创建的复杂计算拓扑。
  • 轻量级:通过实现 TensorFlow 的一小部分功能来支持预测,生成的二进制文件比直接链接 TensorFlow 小得多。
  • 跨平台兼容性:支持 32 位和 64 位的可执行文件。
  • 内存优化:在卷积过程中,通过避免 materializing 大的中间矩阵,frugally-deep 大大减少了临时内存(RAM)的占用。
  • CPU 使用:完全忽略 GPU,仅使用一个 CPU 核进行预测。但是,它在单个 CPU 核上运行得非常快,并支持并行化以提高整体吞吐量。

支持的层类型

frugally-deep 支持众多的层类型,如加法、乘法、卷积、池化、批归一化等。此外,它还支持多输入输出、嵌套模型、残差连接以及自定义层等结构。

使用示例

使用 frugally-deep 的过程如下:

  1. 在 Keras/Python 中设计、训练和保存模型:一般情况下,使用 model.compile(...) 构建模型,model.fit(...) 训练模型,并通过 model.save('....keras') 保存模型。

  2. 转换模型格式:使用 keras_export/convert_model.py 将 Keras 模型转换为 frugally-deep 能够识别的格式。

  3. 在 C++ 中加载模型并进行预测:通过 fdeep::load_model(...) 加载模型,并使用 model.predict(...) 进行前向传递。

具体代码示例展示了如何在 Python 中创建和保存一个简单的模型,然后在 C++ 中加载并使用它进行预测。这个过程确保了在 Keras 和 C++ 中的预测结果一致。

安装和要求

要使用 frugally-deep,您需要:

  • C++14 兼容的编译器:如 GCC 4.9, Clang 3.7, 和 Visual C++ 2015。
  • Python 3.7 或更高版本
  • TensorFlow 2.17 或者可能其他稍旧的版本也行。

详细的安装指南位于 INSTALL.md 文件中。

FAQ

更多有关使用的常见问题可以在 FAQ.md 文件中找到。

免责声明

frugally-deep 的 API 未来可能会有所更改。欢迎您提出建议、发现错误或提供反馈。项目也欢迎任何形式的贡献。该项目是根据 MIT 许可证分发的。

项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

白日梦AI

白日梦AI提供专注于AI视频生成的多样化功能,包括文生视频、动态画面和形象生成等,帮助用户快速上手,创造专业级内容。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

讯飞绘镜

讯飞绘镜是一个支持从创意到完整视频创作的智能平台,用户可以快速生成视频素材并创作独特的音乐视频和故事。平台提供多样化的主题和精选作品,帮助用户探索创意灵感。

Project Cover

讯飞文书

讯飞文书依托讯飞星火大模型,为文书写作者提供从素材筹备到稿件撰写及审稿的全程支持。通过录音智记和以稿写稿等功能,满足事务性工作的高频需求,帮助撰稿人节省精力,提高效率,优化工作与生活。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号