Project Icon

morph-net

在训练过程中优化深度网络结构的方法

MorphNet是一种在训练过程中优化深度网络结构的方法。通过使用正则化器优化FLOPs或模型大小等资源的消耗,MorphNet实现了受约束的网络结构优化。新方法FiGS采用概率性通道正则化,适用于剪枝和可微架构搜索。MorphNet可以在不改变网络拓扑的情况下调整卷积层的输出通道数,以简化模型并满足内存和延迟需求。项目由Elad Eban和Andrew Poon等人维护。

efficientnetv2_rw_m.agc_in1k - EfficientNetV2模型:图像分类与多功能特征提取
EfficientNet-v2GithubHuggingfaceImageNet-1ktimm图像分类开源项目模型模型使用
EfficientNetV2是一个在timm库中实现的高效图像分类模型。通过使用以ResNet Strikes Back为基础的训练策略和SGD优化器(带Nesterov动量),结合自适应梯度剪裁,模型在ImageNet-1k数据集上进行训练。这一架构轻量且强大,支持包括图像分类、特征提取和图像嵌入的多种图像处理任务。
DiT-MoE - 16亿参数规模的稀疏化扩散Transformer模型
DiT-MoEGithub图像生成开源项目扩散模型深度学习混合专家
DiT-MoE项目采用混合专家模型,将扩散Transformer扩展至16亿参数规模。作为扩散Transformer的稀疏版本,DiT-MoE在保持与密集网络相当性能的同时,实现了高效的推理。项目提供PyTorch实现、预训练权重和训练/采样代码,并包含专家路由分析和Hugging Face检查点。通过混合专家方法,DiT-MoE在模型扩展和推理优化方面展现出显著优势。
gemma-2-2b-it-bnb-4bit - Gemma模型量化优化实现快速微调与内存高效管理
GemmaGithubHuggingfacetransformers开源项目机器学习模型模型微调模型量化
这是一个面向Gemma-2-2b模型的量化优化项目,集成了bitsandbytes和Unsloth技术,显著提升了模型微调效率并降低内存占用。项目通过Google Colab提供开箱即用的运行环境,支持一键式模型优化,并可将优化后的模型导出为GGUF格式或部署至vLLM平台。该方案特别适合资源受限环境下的模型优化需求。
ffcv-imagenet - 高效ImageNet训练框架提升模型性能
GithubImageNetPyTorchResNetffcv开源项目深度学习
ffcv-imagenet是一个高效的ImageNet训练框架,采用单文件PyTorch脚本实现。该项目能在标准方法1/10的时间内达到相同精度,支持多GPU并行和多模型同时训练。框架提供丰富的配置选项,结合FFCV数据加载和优化训练流程,使研究人员能更快迭代实验并获得高质量模型。项目还包含多种预设配置,适用于不同的训练需求和硬件环境。
mobilenet_v2_1.0_224 - 轻量级移动设备图像分类神经网络MobileNet V2
GithubHuggingfaceImageNetMobileNet V2图像分类开源项目模型神经网络计算机视觉
MobileNet V2是一款针对移动设备优化的图像分类神经网络模型,在ImageNet-1k数据集上进行预训练。该模型以低延迟和低功耗著称,适用于资源受限的环境。MobileNet V2支持多种分辨率和深度配置,在模型大小、推理速度和准确性之间实现了良好平衡。除图像分类外,它还可应用于目标检测、特征嵌入和图像分割等计算机视觉任务,为移动端应用提供了versatile的解决方案。
flux-controlnet-depth-v3 - 基于深度控制网络的1024分辨率图像生成控制器
ControlNetFLUXGithubHuggingface人工智能生成图像深度控制图形工作流开源项目模型
FLUX.1-dev模型的Depth ControlNet控制器,专注于1024x1024分辨率的图像生成控制。v3版本在真实度方面有显著提升,集成ComfyUI支持,提供训练脚本、配置文件和推理演示。项目支持通过GitHub仓库和ComfyUI工作流快速部署使用。
mirage - 多层次张量程序超优化器提升DNN性能
CUDAGithubMirage开源项目张量代数深度神经网络超优化器
作为一款先进的张量代数超优化器,Mirage在深度神经网络(DNN)性能优化领域展现出独特优势。通过在GPU计算层次结构中实现多层次联合优化,该工具能够自动发现并生成高效的张量程序。Mirage不仅可以识别和验证复杂的优化策略,还能通过搜索等效程序空间来开发出性能卓越的自定义内核。这一技术在各类DNN应用中表现出色,如LLAMA-3-70B模型中的组查询注意力机制和低秩适配器优化,生成的CUDA内核性能显著优于传统手动优化方法。
Megatron-LM - 优化GPU训练技术 加速大规模Transformer模型
GPU优化GithubMegatron-CoreMegatron-LM分布式训练大语言模型开源项目
Megatron-LM框架利用GPU优化技术实现Transformer模型的大规模训练。其Megatron-Core组件提供模块化API和系统优化,支持自定义模型训练。该项目可进行BERT、GPT、T5等模型预训练,支持数千GPU分布式训练百亿参数级模型,并提供数据预处理、模型评估和下游任务功能。
mcunet - 面向微控制器的深度学习框架
GithubMCUNetTinyEngine开源项目微控制器深度学习物联网设备
MCUNet是面向微控制器的系统-算法协同设计框架,包含TinyNAS和TinyEngine两大核心组件。该框架在严格内存限制下提升深度学习性能,相比现有方案推理速度提高1.5-3倍,内存占用降低2.7-4.8倍。MCUNet为IoT应用提供高效深度学习基础设施,推动边缘AI发展。
model-optimization - TensorFlow 模型优化工具包, 支持量化和稀疏化
GithubKerasTensorFlow Model Optimization Toolkit剪枝开源项目机器学习模型量化
TensorFlow Model Optimization Toolkit 提供稳定的 Python API,帮助用户通过量化和稀疏化技术优化机器学习模型,包括针对 Keras 的专用 API。该工具包还提供详细的安装指南、教程和 API 文档,显著提升模型在部署和执行时的性能。该项目由 TensorFlow 团队维护,并遵循其行为准则,开发者可以通过 GitHub 提交问题和贡献代码。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

白日梦AI

白日梦AI提供专注于AI视频生成的多样化功能,包括文生视频、动态画面和形象生成等,帮助用户快速上手,创造专业级内容。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

讯飞绘镜

讯飞绘镜是一个支持从创意到完整视频创作的智能平台,用户可以快速生成视频素材并创作独特的音乐视频和故事。平台提供多样化的主题和精选作品,帮助用户探索创意灵感。

Project Cover

讯飞文书

讯飞文书依托讯飞星火大模型,为文书写作者提供从素材筹备到稿件撰写及审稿的全程支持。通过录音智记和以稿写稿等功能,满足事务性工作的高频需求,帮助撰稿人节省精力,提高效率,优化工作与生活。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号