#知识蒸馏

CVPR2024-Papers-with-Code-Demo

CVPR2024-Papers-with-Code-Demo项目整合了CVPR会议的最新论文和开源代码，覆盖机器学习、计算机视觉等多个领域，提供丰富的论文资源和代码链接。适合学者和开发者深入探讨和应用最新科研成果。

Awesome-Efficient-LLM

Awesome-Efficient-LLM项目汇总了针对大型语言模型优化的关键技术，包括知识蒸馏、网络剪枝、量化和加速推理等，支持研究者和开发者获取最新的效率提升方法和学术文献。该平台定期更新，提供过去60天内的相关研究成果，便于用户系统地探索和应用这些高效技术。

torchdistill

torchdistill是一款模块化的深度学习知识蒸馏框架，通过编辑yaml文件即可设计实验，无需编写Python代码。支持提取模型中间表示，方便进行可重复的深度学习研究。通过ForwardHookManager，无需修改模型接口即可提取数据。支持从PyTorch Hub导入模块，并包含多种范例代码及预训练模型，适用于图像分类、目标检测、语义分割和文本分类等任务。

EasyNLP

EasyNLP是一个由阿里巴巴发布的自然语言处理工具包，基于PyTorch架构，支持分布式训练和多种NLP算法。它结合知识蒸馏和少样本学习技术，支持大规模预训练模型的部署，并支持CLIP和DALLE等多模态预训练模型，与阿里云PAI平台无缝集成，提供统一的模型训练和部署框架，广泛应用于多个业务场景。

VLM_survey

本页面详尽介绍了视觉语言模型(VLM)在视觉识别任务中的应用和发展。内容涵盖VLM的起源、常用架构、预训练目标、主流数据集及不同的预训练方式、迁移学习和知识蒸馏方法，并针对这些方法进行了详细的基准测试和分析。页面还讨论了未来研究的挑战和方向，让用户掌握VLM技术在图像分类、对象检测和语义分割等任务中的最新应用进展。

Awesome-Deep-Neural-Network-Compression

该项目汇集了深度神经网络压缩的综合资源，包括量化、剪枝和蒸馏等技术的论文、总结和代码。涵盖高效模型设计、神经架构搜索等相关主题，并提供按会议和年份分类的论文列表。项目还收录了主流压缩系统和工具链接，为深度学习模型压缩研究提供了全面的参考资料。

Knowledge-Distillation-Toolkit

Knowledge-Distillation-Toolkit是一个基于PyTorch和PyTorch Lightning的开源工具包，用于简化机器学习模型压缩过程。通过知识蒸馏技术，用户只需提供教师模型、学生模型、数据加载器和推理管道即可实现模型压缩。该工具包支持多种优化方法和学习率调度器，并提供详细的使用说明和示例代码，方便研究人员和开发者进行模型压缩实验。

LLM4Annotation

LLM4Annotation项目概述了大型语言模型在数据标注领域的应用研究。该项目涵盖LLM标注方法、质量评估及学习利用等方面，探讨了LLM提升数据标注效率和质量的潜力。这份综述为相关研究人员提供了系统性参考，展示了LLM在数据标注领域的最新进展。

nix-tts

Nix-TTS通过模块化知识蒸馏技术实现了高效轻量的端到端文本转语音合成，显著降低模型尺寸至5.23M参数，加速了处理速度，同时保持了良好的声音自然性。