#ImageNet
使用MTT实现数据集蒸馏:通过匹配训练轨迹生成小规模高质量合成数据集
Stylized-ImageNet: 突破传统CNN对纹理的依赖,引导模型学习更多形状信息
Stylized-ImageNet
项目详细介绍了如何创建Stylized-ImageNet,一个经风格化处理的ImageNet版本,用于诱导卷积神经网络(CNN)的形状偏向。Stylized-ImageNet通过改变图像的局部纹理而保持整体形状完整,并有助于提高模型的准确性和鲁棒性。项目提供了使用说明、训练细节和Docker镜像,简化实现过程。用户还可使用提供的代码对任何图像数据集进行风格化处理,提升研究效率。
HorNet
HorNet是一个基于递归门控卷积的视觉骨干网络家族,专注于高效的高阶空间交互。项目提供了多个在ImageNet数据集上训练和评估的模型,如HorNet-T、HorNet-S和HorNet-B,广泛应用于图像分类和点云理解等领域。项目页面提供详细的训练和评估说明及模型下载链接。HorNet在提升图像和3D对象分类精度方面表现优异,是计算机视觉研究中的重要工具。
mtt-distillation
通过匹配训练轨迹实现数据集蒸馏,减少模型训练所需的真实数据集数量并保持高性能。适用于ImageNet等大规模数据集,可生成低支撑的合成数据集和可拼接纹理。项目提供详细的实现步骤和代码,从下载仓库、生成专家轨迹到数据集蒸馏,帮助用户快速开始应用。还提供可视化工具和超参数设置指南,满足不同需求。此方法显著提高了模型训练效率,适合学术研究和工业应用。
amc
AMC (AutoML for Model Compression) 是一种创新的自动化模型压缩方法,专为优化移动设备上的深度学习模型而设计。该方法通过自动搜索剪枝策略、导出压缩权重和微调,成功将MobileNet等模型的计算量减少50%,同时维持或提升准确率。AMC不仅适用于MobileNet-V1和V2,还提供PyTorch和TensorFlow格式的压缩模型,为移动设备上的高效AI应用提供了新的可能性。
Diffusion_models_from_scratch
该项目提供了一个完整的扩散模型实现框架,包含DDPM、DDIM和无分类器引导模型。项目特点包括:基于ImageNet 64x64数据集的预训练模型、详细的环境配置和数据准备指南、全面的训练和推理脚本,以及多种模型架构和优化策略。开发者可以利用此框架轻松训练自定义扩散模型或使用预训练模型生成图像。
SRe2L
SRe2L项目提出了一种新颖的大规模数据集压缩方法,通过'挤压'、'恢复'和'重新标记'三个步骤实现ImageNet规模数据的高效压缩。该方法在NeurIPS 2023会议上获得spotlight展示,为数据集蒸馏领域带来新的研究视角。项目还包括SCDD和CDA等相关工作,共同推动数据集蒸馏技术在大数据时代的应用和发展。
TransferAttackEval
TransferAttackEval项目对转移攻击进行系统性评估,揭示现有评估方法的问题。项目引入完整攻击分类方法,公平分析攻击可转移性和隐蔽性,获得多项新发现。研究表明部分早期攻击方法优于后续方法,同时指出某些流行防御方法存在安全缺陷。该研究为转移攻击领域提供重要参考,推动相关研究进展。
moco
MoCo是一种创新的无监督视觉表示学习方法,利用动量对比在大规模未标注数据上进行预训练。该方法在ImageNet数据集上训练ResNet-50模型,无需标注即可学习出高质量的视觉特征。MoCo v2版本在原基础上进一步优化,线性分类准确率达67.5%。项目开源了PyTorch实现,支持分布式训练,并提供预训练权重。
DenseNet
DenseNet通过每层与其他层的直接连接,提升图像识别准确性并减少参数和计算量。最新版本内存效率更高,支持CIFAR和ImageNet数据集,提供PyTorch、TensorFlow、Keras等深度学习框架的实现代码,适合研究和应用。