Project Icon

mup

大规模神经网络的稳定超参数优化方法

Maximal Update Parametrization (μP) 提供了一种适用于大规模神经网络的稳定超参数优化方法,例如预训练的Transformer等。利用μP,模型的超参数在不同大小的网络中可保持稳定,减少了在探索和扩展过程中的不确定性和脆弱性。该工具包简化了在PyTorch模型中实现μP的流程,是优化和调优深度学习模型的强大工具。

MemGPT - 构建具有长期记忆的智能代理工具
GithubLLMMemGPT开源项目热门状态管理自定义工具长期记忆
MemGPT是一款创新的工具,可帮助用户通过支持长期存储和状态管理快速构建和部署具有状态的大型语言模型代理。MemGPT支持连接外部数据源(例如PDF文件)以进行检索式增强生成,并定义及调用自定义工具,如谷歌搜索。此外,MemGPT还支持多用户、多代理应用程序的服务部署,是企业和开发者构建先进语言模型应用的理想选择。
transformerlab-app - 多功能大语言模型实验平台 支持本地操作和微调
GithubTransformer Lab人工智能开源软件开源项目模型训练语言模型
Transformer Lab是一个功能丰富的大语言模型实验平台。该应用支持一键下载多种流行模型、跨硬件微调、RLHF优化等功能。平台提供模型聊天、评估和RAG等交互方式,并具备REST API、云端运行和插件系统。Transformer Lab适用于多种操作系统,为AI研究和开发提供了便捷的工具。
PPO-PyTorch - 使用PyTorch实现的简易PPO算法工具
GithubOpenAI gymPPO-PyTorchProximal Policy Optimization开源项目强化学习超参数调整
该项目提供了一个基于PyTorch的简易PPO算法实现,适用于OpenAI Gym环境,帮助初学者理解PPO。更新内容包括整合离散和连续算法,并引入了线性衰减机制。用户可以通过PPO_colab.ipynb在Google Colab中便捷地训练、测试和绘制图表。项目支持单线程执行,并提供日志记录、可视化和动画生成工具。
MetaTransformer - 统一12种模态的多模态学习框架
GithubMeta-Transformer人工智能多模态学习开源项目深度学习计算机视觉
Meta-Transformer是一个创新的多模态学习框架,可处理12种不同模态的数据,包括自然语言、图像、点云和音频等。该框架采用共享编码器架构和数据到序列转换方法,支持分类、检测和分割等多种任务。项目提供开源预训练模型和代码实现,为多模态AI研究提供了有力支持。
fine-tune-mistral - Mistral大语言模型全量微调开源项目
GithubHugging FaceMistral开源项目微调模型训练深度学习
fine-tune-mistral是一个专注于Mistral 7B大语言模型全量微调的开源项目。项目提供完整训练代码和使用说明,支持多GPU训练。其中包含多项训练技巧,如学习率调整和数据量建议等。项目还强调通过评估任务来衡量模型性能改进。该工具为研究者提供了一个进行Mistral模型定制化的便捷平台。
mt-dnn - 多任务深度神经网络在自然语言理解中的最新应用
GithubMT-DNNPyTorch多任务深度神经网络开源项目自然语言理解预训练模型
该项目实现了基于PyTorch的多任务深度神经网络(MT-DNN),主要用于自然语言理解。最新版本添加了语言模型预训练和微调的对抗性训练功能。用户可以使用pip安装或通过Docker快速启动,项目提供详细的训练和微调步骤,支持序列标注和问答任务。此外,项目包含模型嵌入提取和训练加速功能。目前由于政策变化,公共存储解决方案暂不提供。
keras-tuner - 兼具易用性和可扩展性的超参数优化工具
GithubKerasTunerPython 3.8+TensorFlow 2.0+开源项目机器学习模型超参数优化
KerasTuner是一个便捷且可扩展的超参数优化工具,可以有效解决超参数搜索过程中遇到的问题。用户可以通过define-by-run语法轻松配置搜索空间,并使用贝叶斯优化、Hyperband和随机搜索算法找到模型的最佳参数值。该工具对研究人员十分友好,便于进行新搜索算法的实验。KerasTuner适用于Python 3.8+和TensorFlow 2.0+,并提供详细的开发者指南和API参考文档。
Platypus - 高效经济的大语言模型微调开源项目
GithubLLMPlatypus开源开源项目微调模型合并
Platypus是一个开源项目,提供基于LLaMA和LLaMa-2架构的微调和融合模型。该项目使用LoRA和PEFT技术,实现高效的大语言模型微调。Platypus包含完整的训练流程,涵盖数据集精炼、模型微调和权重合并。在多项基准测试中,Platypus展现出优秀性能。这个项目为研究人员和开发者提供了优化定制语言模型的工具。
Mixture-of-depths - Transformer语言模型的动态计算资源分配方法
GithubMixture-of-Depths开源项目模型实现深度学习语言模型
Mixture-of-depths是一种Transformer语言模型优化方法,通过动态分配计算资源提高性能。该项目提供Mistral、Mixtral、LLama等多个主流模型的非官方实现。项目支持高级API接口,兼容transformers库,便于研究应用。这种方法旨在提升模型推理效率和灵活性,同时保持输出质量。
model-optimization - TensorFlow 模型优化工具包, 支持量化和稀疏化
GithubKerasTensorFlow Model Optimization Toolkit剪枝开源项目机器学习模型量化
TensorFlow Model Optimization Toolkit 提供稳定的 Python API,帮助用户通过量化和稀疏化技术优化机器学习模型,包括针对 Keras 的专用 API。该工具包还提供详细的安装指南、教程和 API 文档,显著提升模型在部署和执行时的性能。该项目由 TensorFlow 团队维护,并遵循其行为准则,开发者可以通过 GitHub 提交问题和贡献代码。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号