Efficient-Deep-Learning

深度神经网络压缩和加速方法综述

此项目汇总了深度神经网络压缩和加速的多种方法,涵盖神经架构设计、剪枝、量化、矩阵分解和知识蒸馏等技术。重点介绍了剪枝(含彩票假设)、知识蒸馏和量化等领域的研究进展,并提供了大量相关论文摘要。项目还收录了初始化剪枝和高效视觉Transformer等相关资源,为该领域的研究和开发提供了全面参考。

Github

文档

介绍相关项目

model-optimization - TensorFlow 模型优化工具包, 支持量化和稀疏化

GithubKerasTensorFlow Model Optimization Toolkit剪枝开源项目机器学习模型量化

TensorFlow Model Optimization Toolkit 提供稳定的 Python API，帮助用户通过量化和稀疏化技术优化机器学习模型，包括针对 Keras 的专用 API。该工具包还提供详细的安装指南、教程和 API 文档，显著提升模型在部署和执行时的性能。该项目由 TensorFlow 团队维护，并遵循其行为准则，开发者可以通过 GitHub 提交问题和贡献代码。

mit-deep-learning - MIT深度学习课程教程集合

GithubMIT Deep Learning卷积神经网络开源项目深度学习教程深度强化学习生成对抗网络

本项目汇集了MIT深度学习课程的全面教程，涵盖基础知识、场景分割和生成对抗网络（GANs）等主题，适合初学者和进阶用户。项目包括前沿模型如DeepLab和BigGAN，并提供Jupyter Notebook和Google Colab示例，帮助学习者掌握核心技术。另有深度强化学习竞赛DeepTraffic，挑战开发者在复杂交通环境中训练神经网络实现高速驾驶。

llm-awq - 激活感知权重量化技术实现大语言模型高效压缩与加速

AWQGithubLLM开源项目模型量化视觉语言模型边缘设备

AWQ是一种高效的大语言模型低比特权重量化技术，支持INT3/4量化，适用于指令微调和多模态模型。它提供预计算模型库、内存高效的4位线性层和快速推理CUDA内核。AWQ使TinyChat可在边缘设备上实现大模型高效本地推理。该技术已被Google、Amazon等采用，并获MLSys 2024最佳论文奖。

Awesome-Hyperbolic-Representation-and-Deep-Learning - 双曲空间表示学习和深度学习研究资源集锦

Github双曲空间图神经网络图表示学习开源项目深度学习神经网络

本项目整理了双曲空间表示学习和深度学习领域的前沿研究成果。内容涵盖基础理论和实际应用,包括双曲浅层模型、双曲神经网络和双曲图神经网络等方法,以及在推荐系统、知识图谱等方面的应用。项目将相关论文进行分类整理,为研究人员提供便捷的学习资源,促进该领域的发展。

low-bit-optimizers - 4位优化器技术减少内存占用提升大规模模型训练能力

4位优化器AdamWGithub内存效率开源项目神经网络训练量化

Low-bit Optimizers项目实现了一种4位优化器技术，可将优化器状态从32位压缩至4位，有效降低神经网络训练的内存使用。通过分析一阶和二阶动量，该项目提出了改进的量化方法，克服了现有技术的限制。在多项基准测试中，4位优化器实现了与全精度版本相当的准确率，同时提高了内存效率，为大规模模型训练开辟了新途径。

EfficientQAT - 高效量化训练技术助力大型语言模型压缩

EfficientQATGithubPyTorch大语言模型开源项目模型压缩量化训练

EfficientQAT是一种针对大型语言模型的量化训练技术。该技术采用两阶段训练方法,包括分块训练所有参数和端到端训练量化参数,在压缩模型大小的同时保持性能。EfficientQAT支持GPTQ和BitBLAS等多种量化格式,已成功应用于Llama和Mistral等模型系列,有效降低模型存储需求,为大型语言模型的部署提供了实用方案。

deep-learning-roadmap - 为开发者和研究人员提供的从入门到高级应用全覆盖，涵盖图像识别、自然语言处理等关键领域深度学习的综合资源，

Github卷积神经网络图像识别开源项目强化学习深度学习生成模型

为开发者和研究人员提供深度学习的综合资源，从入门到高级应用全覆盖，涵盖图像识别、自然语言处理等关键领域。借助本平台，您可以迅速找到所需资源，掌握最前沿的深度学习技术。

awesome-neural-rendering - 全面汇集神经渲染领域最新研究进展

3D重建GithubNeural Rendering开源项目深度学习视图合成计算机图形学

该项目汇集了神经渲染领域的前沿资源，包括逆向渲染、神经重渲染、可微分渲染和隐式神经表示等多个子领域。这份精选列表涵盖了最新研究论文、技术报告和开源项目，为研究人员和开发者提供了全面的参考资料，有助于深入了解神经渲染技术的最新进展。

graph-based-deep-learning-literature - 探索基于图的深度学习最新文献与会议进展

GithubICMLNeurIPS图形深度学习开源项目数据挖掘计算机视觉

该项目收录了基于图的深度学习领域内，例如NeurIPS、ICML和ICLR等顶级会议的出版物、相关工作坊、综述文章、书籍以及软件资源链接。这些资源为学术研究人员和专业学者提供了方便的一站式服务，便于他们探索、查询及利用该领域内的最新科研成果和工具。

Awesome-Deep-Community-Detection - 社区发现中的深度学习方法综述与资源集

Github图神经网络复杂网络开源项目深度学习社区检测网络嵌入

相关项目

推荐项目

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

白日梦AI

白日梦AI提供专注于AI视频生成的多样化功能，包括文生视频、动态画面和形象生成等，帮助用户快速上手，创造专业级内容。

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

讯飞绘镜

讯飞绘镜是一个支持从创意到完整视频创作的智能平台，用户可以快速生成视频素材并创作独特的音乐视频和故事。平台提供多样化的主题和精选作品，帮助用户探索创意灵感。

讯飞文书

讯飞文书依托讯飞星火大模型，为文书写作者提供从素材筹备到稿件撰写及审稿的全程支持。通过录音智记和以稿写稿等功能，满足事务性工作的高频需求，帮助撰稿人节省精力，提高效率，优化工作与生活。

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

使用协议隐私政策广告服务

投诉举报邮箱: service@vectorlightyear.com