Logo

#指令调优

Aurora入门学习资料 - 激活Mixtral-8x7B中文对话能力的MoE模型

1 个月前
Cover of Aurora入门学习资料 - 激活Mixtral-8x7B中文对话能力的MoE模型

Deita: 数据高效指令微调技术助力大语言模型对齐

2 个月前
Cover of Deita: 数据高效指令微调技术助力大语言模型对齐

Aurora: 激活Mixtral-8x7B稀疏混合专家模型的中文对话能力

2 个月前
Cover of Aurora: 激活Mixtral-8x7B稀疏混合专家模型的中文对话能力

LongForm项目:通过反向指令实现高效的指令调优

2 个月前
Cover of LongForm项目:通过反向指令实现高效的指令调优

解锁大语言模型的力量:探索这些数据集来训练你自己的ChatGPT

2 个月前
Cover of 解锁大语言模型的力量:探索这些数据集来训练你自己的ChatGPT

相关项目

Project Cover
Aurora
Aurora项目通过整合三大中文数据集,提升了Mixtral-8x7B稀疏专家模型的中文对话能力。通过数据预处理和指令微调,该模型在C-Eval、MMLU和CMMLU基准测试中表现出色。这项研究首次在稀疏专家模型上应用指令微调,提升了模型的架构能力,特别是在零样本任务中表现卓越。
Project Cover
FinGPT
FinGPT项目提供开源金融大语言模型,重点解决金融行业的高训练成本和频繁更新需求。利用RLHF技术,实现了金融数据的快速更新和轻量级适配,并降低微调费用。FinGPT-Forecaster和多任务情感分析模型的性能超过GPT-4,展现出在金融预测和情感分析方面的强大能力。开源平台和丰富的数据集使开发者能够轻松再现和应用这些先进模型。
Project Cover
deita
Deita是一个开源项目,为大型语言模型的指令调优提供自动数据选择工具。项目包含开源工具包、高质量轻量级数据集和高效训练模型。Deita模型使用仅十分之一的指令调优数据,就能达到其他先进聊天模型的性能水平。项目提供全面评估结果,展示了在多项基准测试中的表现。
Project Cover
awesome-chatgpt-dataset
awesome-chatgpt-dataset项目汇集了多样化的人工智能对话数据集资源。该项目囊括了不同规模、语言和领域的高质量指令数据,范围从数千到数百万条不等,涵盖多语言、代码生成、视觉对话等多个方面。这些数据集为研究人员和开发者提供了训练和优化大型语言模型的重要素材,有助于推动更智能、更多元化的AI对话系统的发展。
Project Cover
txtinstruct
txtinstruct是一个开源的指令调优模型训练框架,支持开放数据和模型,可与自有数据集成。它旨在解决指令数据集和大型语言模型许可不明确的问题,便于构建个性化指令数据集和模型。基于Python 3.8+和txtai构建,txtinstruct提供简便的安装方法和丰富示例,方便用户快速开发指令调优模型。
Project Cover
LongForm
LongForm项目开发了一种反向指令方法,利用多样化语料库创建指令数据集。该项目发布了LongForm-C数据集和多个预训练模型,在长文本生成任务中展现出优异性能。研究表明,LongForm模型不仅提升了自然语言生成能力,还在语言理解任务中取得了显著进展。尽管如此,该模型在结构化预测任务和幻觉问题方面仍存在一定局限性。项目采用MIT许可证,并严格遵守相关数据和模型的使用限制。
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号