Project Icon

mtt-distillation

合成数据集优化训练性能,广泛适用于多个领域

通过匹配训练轨迹实现数据集蒸馏,减少模型训练所需的真实数据集数量并保持高性能。适用于ImageNet等大规模数据集,可生成低支撑的合成数据集和可拼接纹理。项目提供详细的实现步骤和代码,从下载仓库、生成专家轨迹到数据集蒸馏,帮助用户快速开始应用。还提供可视化工具和超参数设置指南,满足不同需求。此方法显著提高了模型训练效率,适合学术研究和工业应用。

Awesome-Dataset-Distillation - 数据集蒸馏技术的全面综述与最新进展
Github人工智能开源项目数据集蒸馏机器学习梯度匹配特征匹配
Awesome-Dataset-Distillation项目是数据集蒸馏领域的综合资源库。它收录了从早期工作到最新技术的各类方法,涵盖多个应用领域。项目由专家维护并定期更新,为研究人员提供最新进展和代码实现。
distilabel - AI数据合成与反馈框架
AI反馈DistilabelGithub开源社区开源项目数据合成高质量数据
Distilabel是专为AI工程师设计的开源框架,用于数据合成和反馈。该框架提供高质量输出、数据所有权和高效性,适用于预测和生成模型。通过提升数据质量和整合多种LLM反馈,Distilabel提高AI输出质量。支持与最新研究的整合,确保灵活性、可扩展性和容错能力。欢迎加入开源社区,参与数据集和模型的构建,享受社区资源和支持。
distill-sd - 更小更快速的Stable Diffusion模型,依靠知识蒸馏实现高质量图像生成
GithubStable Diffusion开源项目模型压缩神经网络训练细节预训练检查点
基于知识蒸馏技术开发的小型高速Stable Diffusion模型。这些模型保留了完整版本的图像质量,同时大幅减小了体积和提升了速度。文档详细介绍了数据下载脚本、U-net训练方法和模型参数设置,还支持LoRA训练及从检查点恢复。提供清晰的使用指南和预训练模型,适配快速高效图像生成需求。
torchdistill - 模块化深度学习知识蒸馏框架
GithubPyYAMLtorchdistill开源项目模型训练深度学习知识蒸馏
torchdistill是一款模块化的深度学习知识蒸馏框架,通过编辑yaml文件即可设计实验,无需编写Python代码。支持提取模型中间表示,方便进行可重复的深度学习研究。通过ForwardHookManager,无需修改模型接口即可提取数据。支持从PyTorch Hub导入模块,并包含多种范例代码及预训练模型,适用于图像分类、目标检测、语义分割和文本分类等任务。
autodistill - 使用大型、较慢的基础模型来训练小型、较快的监督模型,通过自动标注实现模型训练全程无需人工干预,支持对象检测和实例分割任务
AutodistillGithubRoboflowinstance segmentationmachine learningobject detection开源项目
Autodistill利用大型基础模型训练小型快速监督模型,通过自动标注实现模型训练全程无需人工干预,支持对象检测和实例分割任务,并计划扩展至语言模型。可在本地硬件或云端运行,通过插件接口连接基础和目标模型插件,减少依赖和许可证冲突,确保高效便捷的模型训练与部署。
MDT - MDTv2图像合成模型:更快收敛和卓越性能
GithubMasked Diffusion Transformer人工智能图像合成开源项目深度学习计算机视觉
MDTv2是一种先进的深度学习图像合成模型,在ImageNet数据集上实现了1.58的FID分数,创造新的业界标准。该模型采用掩码潜在建模技术,提高了图像语义理解能力,学习速度比先前模型快10倍以上。MDTv2在图像生成质量和训练效率方面都有显著提升,为计算机视觉和人工智能领域带来了新的可能性。
Knowledge-Distillation-Toolkit - 开源知识蒸馏工具包助力机器学习模型压缩
GithubPyTorch学生模型开源项目教师模型模型压缩知识蒸馏
Knowledge-Distillation-Toolkit是一个基于PyTorch和PyTorch Lightning的开源工具包,用于简化机器学习模型压缩过程。通过知识蒸馏技术,用户只需提供教师模型、学生模型、数据加载器和推理管道即可实现模型压缩。该工具包支持多种优化方法和学习率调度器,并提供详细的使用说明和示例代码,方便研究人员和开发者进行模型压缩实验。
llm_distillation_playbook - 大语言模型蒸馏技巧与实践指南
GPT-4GithubLLM开源开源项目模型蒸馏评估标准
LLM Distillation Playbook项目提供了系统化的大语言模型蒸馏实践指南。该项目探讨了模型蒸馏的关键概念、评估标准和实用技巧,涵盖数据准备到模型部署的全流程。它为工程师和ML实践者提供见解,帮助在生产环境中将大型语言模型压缩为高效小型版本。该指南融合学术研究和实践经验,是开源LLM开发的参考资源。
DMD2 - 改进分布匹配蒸馏的快速图像合成技术
AI绘图DMD2Github图像生成开源项目文本生成图像模型蒸馏
DMD2是一种改进的分布匹配蒸馏技术,用于快速图像合成。通过消除回归损失、集成GAN损失和支持多步采样,该技术显著提升了图像生成的质量和效率。在ImageNet-64x64和COCO 2014数据集上,DMD2的FID评分超越原始模型,同时将推理成本降低500倍。此外,DMD2还能生成百万像素级图像,在少步方法中展现出卓越的视觉效果。
TCD - 新型少步采样蒸馏技术用于高质量图像生成
GithubLoRATCD图像生成开源项目扩散模型生成AI
TCD是一种创新的蒸馏技术,可将预训练扩散模型的知识提炼为高效的少步采样器。该技术具有灵活的NFE、优异的生成质量、可调节的细节程度和广泛的适用性。TCD无需对抗训练即可实现高质量的少步生成,有效避免了模式崩溃问题。项目开源了推理代码和基于SDXL Base 1.0蒸馏的TCD-SDXL模型,可与多种现有模型和技术无缝集成。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

白日梦AI

白日梦AI提供专注于AI视频生成的多样化功能,包括文生视频、动态画面和形象生成等,帮助用户快速上手,创造专业级内容。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

讯飞绘镜

讯飞绘镜是一个支持从创意到完整视频创作的智能平台,用户可以快速生成视频素材并创作独特的音乐视频和故事。平台提供多样化的主题和精选作品,帮助用户探索创意灵感。

Project Cover

讯飞文书

讯飞文书依托讯飞星火大模型,为文书写作者提供从素材筹备到稿件撰写及审稿的全程支持。通过录音智记和以稿写稿等功能,满足事务性工作的高频需求,帮助撰稿人节省精力,提高效率,优化工作与生活。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号