Project Icon

open-instruct

开源指令微调大语言模型的完整工具集

open-instruct是一个致力于指令微调预训练语言模型的开源项目。它提供了基于最新技术和公开数据集的模型微调代码,以及多项基准测试的评估工具。项目发布了包括Tülu系列在内的多个微调模型检查点。open-instruct支持全参数微调、LoRA和QLoRA等高效方法,并提供完整的训练和评估脚本。该工具集为研究人员和开发者提供了探索指令调优大语言模型的全面解决方案。

OpenELM-1_1B-Instruct - 高效开源语言模型家族及其完整训练框架
GithubHuggingfaceOpenELM开源框架开源项目指令微调模型语言模型预训练
OpenELM是一个开源高效语言模型家族,通过层级缩放策略优化参数分配以提高模型精度。该项目提供了从2.7亿到30亿参数的预训练和指令微调模型,以及完整的数据准备、训练、微调和评估框架。OpenELM在多项自然语言处理任务中表现出色,为语言模型研究和应用开发提供了有价值的开源资源。
Mistral-Nemo-Instruct-2407 - 多语言指令微调开源大语言模型
GithubHuggingfaceMistral-Nemo-Instruct-2407代码生成函数调用多语言支持大语言模型开源项目模型
Mistral-Nemo-Instruct-2407是Mistral AI与NVIDIA联合开发的指令微调大语言模型,基于Mistral-Nemo-Base-2407。该模型性能优异,支持128k上下文窗口,涵盖多语言和代码能力。它采用Apache 2许可证开源,可直接替代Mistral 7B,并在多项基准测试中展现卓越表现。
Infinity-Instruct-7M-Gen-Llama3_1-8B - 开源指令调优模型,支持大规模无监督学习
GithubHuggingfaceInfinity Instruct代码开源开源项目指令微调无监督学习模型模型权重
Infinity-Instruct-7M-Gen-Llama3.1-8B是一个开源指令调优模型,无需人类反馈即可达到较高性能。依托于百万级数据集的训练,该模型展现出优于GPT-4在AlpacaEval 2.0测试中的表现。项目持续更新,提供多样模型权重和数据集资源,支持学术研究。采用FlagScale技术,显著降低训练成本。
LLamaTuner - 大语言模型微调工具,支持几乎所有GPU
GithubLLamaTunerSupervised fine-tuning dataset大语言模型开源项目数据预处理模型训练
LLamaTuner是一款高效、灵活且功能全面的大语言模型微调工具。支持在几乎所有GPU上进行大语言模型的预训练和微调,包括单个8GB GPU上微调7B LLM和超过70B模型的多节点微调。自动调度高性能算子如FlashAttention和Triton内核,兼容DeepSpeed以提升训练吞吐量。支持多种LLM和VLM,以及QLoRA和LoRA等多种训练算法,提供连续预训练、指令微调和代理微调等功能,还能与大型模型进行对话。
EuroLLM-1.7B-Instruct - 支持35种语言的欧洲开源大语言模型
EuroLLMGithubHuggingface多语言模型开源项目机器翻译模型神经网络自然语言处理
EuroLLM-1.7B-Instruct是一个欧盟支持开发的大语言模型,具备17亿参数规模,可处理包括欧盟在内的35种语言。模型在机器翻译性能方面超越同规模的Gemma-2B模型,接近更大规模的Gemma-7B水平。采用transformer架构和分组查询机制,实现高效推理。这是欧盟首个面向多语言处理的开源语言模型项目。
Llama-2-7B-32K-Instruct - 长上下文对话模型,支持自定义微调和高效推理
GithubHuggingfaceLlama-2-7B-32K-InstructTogether API开源项目指令微调数据集模型长上下文聊天模型
Llama-2-7B-32K-Instruct是开源长上下文对话模型,微调自高质量指令和对话数据。适用于长上下文的摘要与问答任务,通过评估与多款顶尖模型对比。在Together API的支持下,用户可自定义微调以提升性能。模型数据与使用方法已完全开放,方便个性化开发。建议安装Flash Attention V2以提高推理效率。
Mistral-Nemo-Instruct-2407-GGUF - 多语言指令微调大规模语言模型
GithubHuggingfaceMistral-Nemo-Instruct多语言大语言模型开源项目指令微调模型自然语言处理
Mistral-Nemo-Instruct-2407是一款基于Mistral-Nemo-Base-2407指令微调的大规模语言模型,支持128k上下文窗口。该模型在多语言和代码任务方面表现优异,可替代Mistral 7B使用。模型在主流基准测试中表现出色,并在多语言任务中展现强大能力。开发者可通过mistral_inference、transformers或NeMo框架使用该模型进行聊天、指令遵循和函数调用等多样化任务。Mistral-Nemo-Instruct-2407采用Apache 2许可证开源发布。
Phi-3.5-mini-instruct - 轻量级多语言长文本AI模型
GithubHuggingfacePhi-3.5-mini-instruct多语言支持大语言模型开源项目微软模型长文本理解
Phi-3.5-mini-instruct是一款开源AI模型,拥有3.8B参数和128K令牌上下文长度。该模型在多语言处理、长文本理解和推理能力方面表现优异,适用于通用AI系统,尤其适合资源受限环境和低延迟场景。经过监督微调、近端策略优化和直接偏好优化,模型具备精确的指令执行能力和安全性。
Phi-3-medium-4k-instruct - 轻量级多任务语言模型
GithubHuggingfacePhi-3大语言模型开源项目指令微调推理能力模型自然语言处理
Phi-3-medium-4k-instruct是一个14B参数的轻量级开源语言模型,在常识、语言理解、数学和编码等多项基准测试中表现优异。该模型采用高质量合成数据和公开数据训练,经过指令微调和安全优化,支持4K上下文长度。它适用于内存/计算受限环境和低延迟场景,可广泛应用于商业和研究领域。
Qwen2.5-32B-Instruct - 多语言大规模语言模型支持长文本处理和结构化输出
GithubHuggingfaceQwen2.5多语言支持大语言模型开源项目指令微调模型长文本处理
Qwen2.5-32B-Instruct是一款指令微调大语言模型,参数量为325亿。该模型支持29种以上语言,擅长指令跟随、长文本生成和结构化输出。它采用因果语言模型架构,支持131,072个token的上下文长度,可生成8192个token。模型在编码、数学等领域表现出色,并能处理表格等结构化数据。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

Project Cover

稿定AI

稿定设计 是一个多功能的在线设计和创意平台,提供广泛的设计工具和资源,以满足不同用户的需求。从专业的图形设计师到普通用户,无论是进行图片处理、智能抠图、H5页面制作还是视频剪辑,稿定设计都能提供简单、高效的解决方案。该平台以其用户友好的界面和强大的功能集合,帮助用户轻松实现创意设计。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号