超棒的压缩技术
项目简介
随着ChatGPT的走红,大语言模型层出不穷,并展现出非凡的能力,可以有效地解决各种问题。然而,这些模型通常需要大量的计算资源和内存,导致运行时资源消耗较高,限制了其在某些场景下的应用,让很多研究者望而却步。本项目使用通俗易懂的语言介绍模型的剪枝、量化、知识蒸馏等压缩方法,让更多的新手能更快了解到模型压缩技术。
项目意义
目前网上关于模型压缩的相关资料比较杂乱,初学者很难找到一个简单优质的的中文入门教程来学习。本项目借鉴MIT 6.5940 TinyML and Efficient Deep Learning Computing,提供模型压缩的入门教程,降低模型压缩的学习门槛。在教程中,您将了解不同的压缩方法,通过实践和示例,学习如何应用这些方法来压缩深度学习模型,以满足实际应用需求。
项目受众
本项目适合以下学习者:
- 深度学习研究人员;
- 嵌入式系统和移动应用开发者;
- 对AI硬件加速和部署感兴趣的开发者;
- 对模型压缩技术感兴趣的学生群体。
项目亮点
- 提供通俗易懂的理论内容来科普模型压缩技术;
- 提供实践代码,结合实际场景帮助学习者更好地理解理论内容。
目录
- 第1章 引言
- 第2章 CNN基础
- 第3章 模型剪枝
- 第4章 模型量化
- 第5章 神经网络架构搜索
- 第6章 知识蒸馏
- 第7章 项目实践
课程知识思维导图
路线图
- 第1步:搭建内容框架并确认各章节负责人(1个月);
- 第2步:对章节内容进行撰写(3个月);
- 第3步:对整体内容进行修订与完善(1个月)。
参与贡献
- 如果你想参与到项目中来欢迎查看项目的 Issue 查看没有被分配的任务。
- 如果你发现了一些问题,欢迎在 Issue 中进行反馈🐛。
- 如果你对本项目感兴趣想要参与进来可以通过 Discussion 进行交流💬。
如果你对 Datawhale 很感兴趣并想要发起一个新的项目,欢迎查看 Datawhale 贡献指南。
贡献者名单
姓名 | 职责 | 简介 |
---|---|---|
陈玉立 | 项目负责人 | Datawhale成员-北京邮电大学研究生 |
姜蔚蔚 | 第1、2章贡献者 | 北京邮电大学助理教授 |
孙韩玉 | 第4章贡献者 | 模型部署工程师 |
张艺杰 | 第5章贡献者 | 暨南大学研究生 |
魏育康 | 第6章贡献者 | 河北科技大学研究生 |
宁致远 | 第7章贡献者 | 上海交通大学本科生 |
环境安装
Node.js版本
Node v16
安装docsify
npm i docsify-cli -g
启动docsify
docsify serve ./docs
关注我们
扫描下方二维码关注公众号:Datawhale
许可证
本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。