Project Icon

micrograd

轻量级自动梯度引擎实现神经网络核心训练

micrograd是一个轻量级自动梯度引擎,实现反向传播算法,为神经网络训练提供核心功能。项目基于karpathy/micrograd,并针对LLM101n模块进行了优化。包含自动梯度引擎、简单神经网络和训练循环,致力于提供直观的神经网络训练可视化。后续将开发交互式Web演示,支持实时数据点调整和网络响应观察。

grokfast - 放大低频梯度加速模型泛化
GithubGrokfast开源项目机器学习梯度下降泛化过拟合
Grokfast是一种创新的机器学习优化方法,通过放大参数梯度的低频成分来加速模型泛化。该方法可将原本需数万次迭代的泛化过程缩短50倍以上,仅需添加几行代码即可实现。Grokfast适用于图像、语言和图形等多种任务,为研究突然泛化现象提供了实用工具。项目开源了代码实现,并提供了详细的使用说明和实验复现指南。
Megatron-LM - 优化GPU训练技术 加速大规模Transformer模型
GPU优化GithubMegatron-CoreMegatron-LM分布式训练大语言模型开源项目
Megatron-LM框架利用GPU优化技术实现Transformer模型的大规模训练。其Megatron-Core组件提供模块化API和系统优化,支持自定义模型训练。该项目可进行BERT、GPT、T5等模型预训练,支持数千GPU分布式训练百亿参数级模型,并提供数据预处理、模型评估和下游任务功能。
mlp - 多层感知器实现n-gram语言模型的开源项目
GithubPyTorch多层感知器开源项目神经网络自动微分自然语言模型
该项目基于Bengio等人2003年的论文,实现了多层感知器(MLP)作为n-gram语言模型。项目提供C、NumPy和PyTorch三种实现,展示了从底层操作到高级抽象的不同层次。通过对比,突出了PyTorch在Tensor处理、自动微分和深度学习层构建方面的优势。相比传统n-gram模型,此方法以较少参数实现更低验证损失,但训练成本较高。
d2l-zh - 深度学习的全面入门指南
D2L.aiGithub工程技能开源项目数学原理深度学习
《动手学深度学习》是一个免费在线资源,提供概念讲解、数学背景知识和实际代码示例,旨在帮助读者掌握深度学习的原理和应用。该项目致力于培养读者成为能够理解数学原理并实现和改进方法的深度学习应用科学家,适合自学和教学使用,包含可运行的代码和工程技能训练。
ludwig - 高效可扩展的低代码深度学习框架
AI模型GithubLudwig多模态学习开源项目深度学习热门自定义模型
Ludwig是一个低代码深度学习框架,用于构建定制的人工智能模型,如LLMs和其他深度神经网络。它支持多任务和多模态学习,优化了批量大小选择,分布式训练和模型微调,确保高效处理大规模数据集。Ludwig的模块化设计允许用户轻松实验不同的模型架构,支持超参数优化和丰富的度量可视化,适用于生产环境,并整合了Docker和Ray等工具,支持模型导出到Torchscript和Triton,一键上传至HuggingFace。
picoGPT - 极简风格的GPT-2实现版本
GPT-2GithubNumPypicoGPT代码实现开源项目模型生成
picoGPT是一个极简风格的GPT-2实现版本,采用NumPy全面编写,前向传播过程在短短40行代码中展开。它虽然运行缓慢,不支持多重训练或高级的采样方法,但其独特的简化设计提供了一种有趣的学习与试验环境,极适合AI和机器学习领域的爱好者及开发者。
intro-to-deep-learning - 全面实用的深度学习入门课程
GithubJupyter NotebookPython开源项目机器学习深度学习神经网络
这是一个面向深度学习初学者的开源项目,提供全面的入门课程。课程内容包括神经网络基础知识的介绍材料、实践演练和扩展资源。采用Jupyter Notebook形式,鼓励学生动手实践以加深理解。课程涵盖深度学习核心概念,为学习者打下扎实基础,为进一步探索高级主题如GAN和NLP做好准备。项目注重理论与实践结合,并提供深入学习资源。项目内容结构清晰,按主题分类组织,每个主题包含概述、预习建议、实践演示和深入学习资源。课程支持本地运行和Google Colab使用两种方式,增加了学习的灵活性。
nni - 可自动执行特征工程、神经架构搜索、超参数调优和深度学习的模型压缩
GithubNNI开源项目架构搜索模型压缩神经网络智能优化超参数调整
NNI提供一站式解决方案,支持自动化的特征工程、神经架构搜索、超参数调整和模型压缩。它兼容多种框架,并提供详尽的API、丰富的示例及全面的教程。适用于多种训练环境,包括本地、远程SSH服务器和Kubernetes,帮助推动开源社区的技术发展。
deep-learning-drizzle - 深度学习与AI在线课程
Github开源项目机器学习深度学习神经网络自然语言处理计算机视觉
deep-learning-drizzle 集结了全球顶尖院校与研究机构的深度学习与AI在线课程。覆盖初级到高级课程,涉及自然语言处理、计算机视觉、机器学习等多个领域,提供视频教程及实战操作指南。适合各层次人士学习,助您深入AI领域。
Phi-3-mini-4k-instruct-bnb-4bit - 通过Unsloth工具提升深度学习模型微调速度与内存效率
GithubGoogle ColabHuggingfaceUnslothtransformers开源项目机器学习模型模型微调
项目通过提供免费、易于使用的Google Colab笔记本,便于在微调Phi-3.5、Llama 3.1、Mistral等深度学习模型时实现更高效的速度与内存管理,内存使用减少达74%。用户只需添加数据集并执行所有代码,便可获得加速至最高3.9倍的微调模型,支持导出多种格式或上传至Hugging Face平台。Colab快捷方式有效简化模型微调过程,适用于文本生成和对话模板。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

稿定AI

稿定设计 是一个多功能的在线设计和创意平台,提供广泛的设计工具和资源,以满足不同用户的需求。从专业的图形设计师到普通用户,无论是进行图片处理、智能抠图、H5页面制作还是视频剪辑,稿定设计都能提供简单、高效的解决方案。该平台以其用户友好的界面和强大的功能集合,帮助用户轻松实现创意设计。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号