tuning_playbook

深度学习模型性能调优指南

深度学习超参数调优模型性能优化器批量大小 Github 开源项目

该项目提供深度学习模型调优的全面指南,涵盖项目启动、架构选择、优化器配置、批量大小设置等关键环节。它介绍了科学的性能提升方法,以及训练流程优化和实验追踪等实用技巧,旨在帮助提高深度学习模型的性能。

Github

Huggingface

介绍相关项目

code-with-engineering-playbook - Microsoft ISE工程基础，全面的团队协作与开发指南

GithubISE代码质量工程基础开源项目持续集成敏捷开发

Code-with-engineering-playbook是Microsoft ISE团队开发的工程指南，涵盖敏捷开发、持续集成等关键领域。该指南提供提高代码质量、增强团队效率的最佳实践，包括可访问性、自动化测试和代码审查等方面。它强调高质量工程，旨在帮助团队更有效地交付价值。这份开源资源适用于各级经验的工程师，为改进开发流程和团队协作提供了实用指导。

LMFlow - 开源大型机器学习模型微调工具箱

GithubLMFlowfinetuning优化开源项目性能模型

LMFlow为大型机器学习模型微调提供一个可扩展、便捷且高效的开源工具箱，支持多种优化功能，如自定义优化器训练、LISA算法等，已广泛应用于机器学习领域。

cookbook - 大型语言模型应用开发与优化实用指南

AI模型GithubMistral开源项目数据处理机器学习示例代码

Mistral Cookbook 汇集了社区贡献的大型语言模型应用实例，涵盖基础聊天、嵌入、RAG、函数调用和微调等多个方面。项目包含Mistral AI官方示例和第三方工具集成，为开发者提供了全面的LLM应用开发资源。

PyTorch_Tutorial - PyTorch深度学习实践教程

GithubPyTorch代码实践开源项目教程模型训练深度学习

PyTorch_Tutorial是一个综合性深度学习教程项目，专注于PyTorch框架的应用。教程涵盖基础到高级的模型训练技巧，提供计算机视觉、自然语言处理和大型语言模型等领域的实践案例。内容还包括ONNX和TensorRT等推理部署框架的使用指南，展示了从模型开发到部署的完整流程。项目定期更新，配有环境配置说明，适合深度学习研究者和实践者参考学习。

Phi-3-mini-4k-instruct-bnb-4bit - 通过Unsloth工具提升深度学习模型微调速度与内存效率

GithubGoogle ColabHuggingfaceUnslothtransformers开源项目机器学习模型模型微调

项目通过提供免费、易于使用的Google Colab笔记本，便于在微调Phi-3.5、Llama 3.1、Mistral等深度学习模型时实现更高效的速度与内存管理，内存使用减少达74%。用户只需添加数据集并执行所有代码，便可获得加速至最高3.9倍的微调模型，支持导出多种格式或上传至Hugging Face平台。Colab快捷方式有效简化模型微调过程，适用于文本生成和对话模板。

machine-learning-book - 深入使用PyTorch和Scikit-Learn的机器学习指南

GithubMachine LearningPackt PublishingPyTorchScikit-LearnSebastian Raschka开源项目

该书介绍了如何使用PyTorch和Scikit-Learn进行机器学习，内容包含从数据预处理到高级深度学习模型的实现。主要涵盖分类、回归、聚类、神经网络、自然语言处理、生成对抗网络及强化学习等主题，通过实用的代码示例和实际应用帮助读者掌握机器学习技术。无论是初学者还是有经验的开发者，都可以将其作为理解和应用机器学习的重要参考资料。

ChatGLM-Finetuning - ChatGLM系列模型的多方法微调工具

ChatGLMGithub大语言模型开源项目微调深度学习自然语言处理

ChatGLM-Finetuning为ChatGLM系列模型提供多种微调方法,包括Freeze、Lora、P-Tuning和全量参数训练。该项目支持信息抽取、文本生成和分类等任务,可进行单卡或多卡训练。通过DeepSpeed等优化技术,实现高效大模型微调,并有效缓解灾难性遗忘问题。项目支持最新的ChatGLM3模型,并提供详细的使用说明。

openmlsys-zh - 现代机器学习系统设计与实现全面指南

GithubOpenMLSys实现经验开源项目机器学习系统设计原理

该开源项目全面介绍现代机器学习系统的设计和实现，涵盖编程接口、计算图、编译器技术、硬件加速等核心内容。同时探讨推荐系统、联邦学习、强化学习等前沿领域的系统实现。项目内容适合学生、研究人员和开发者，有助于读者深入理解机器学习系统，提升实际应用和开发能力。

smol-vision - 前沿视觉模型优化与定制的实用技巧集锦

GithubONNX量化Smol Vision开源项目模型微调知识蒸馏视觉模型优化

smol-vision项目汇集了多种视觉模型优化技术，包括量化、ONNX转换、模型微调和知识蒸馏。项目提供了实用示例，展示如何使用Optimum优化目标检测模型、微调PaliGemma和Florence-2视觉语言模型，以及通过torch.compile加速基础模型。这些方法旨在帮助开发者提高模型性能、缩小规模和加快推理速度，使模型更好地适应各种硬件环境。

LLamaTuner - 大语言模型微调工具，支持几乎所有GPU

GithubLLamaTunerSupervised fine-tuning dataset大语言模型开源项目数据预处理模型训练

LLamaTuner是一款高效、灵活且功能全面的大语言模型微调工具。支持在几乎所有GPU上进行大语言模型的预训练和微调，包括单个8GB GPU上微调7B LLM和超过70B模型的多节点微调。自动调度高性能算子如FlashAttention和Triton内核，兼容DeepSpeed以提升训练吞吐量。支持多种LLM和VLM，以及QLoRA和LoRA等多种训练算法，提供连续预训练、指令微调和代理微调等功能，还能与大型模型进行对话。

相关项目

推荐项目

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

吐司

探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

美间AI

美间AI创意设计平台，利用前沿AI技术，为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图，再到文案生成，美间让创意设计更简单、更高效。

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具，简化了选题、文献检索至论文撰写的整个过程。通过简单设定，平台可快速生成高质量论文大纲和全文，配合图表、参考文献等一应俱全，同时提供开题报告和答辩PPT等增值服务，保障数据安全，有效提升写作效率和论文质量。

使用协议隐私政策广告服务

投诉举报邮箱: service@vectorlightyear.com