#指令微调

雅意大模型通过深度微调媒体宣传、舆情分析、公共安全等领域数据，提升了中文对话和领域分析能力。开源项目促进了中文预训练大模型社区的发展，支持全参数和LoRA微调，提供多轮对话和插件功能。基于高质量数据集训练，适用于中文多领域任务，具备优异的自然语言处理性能，持续优化安全性和拒识能力。

本项目通过对LLaMA、Alpaca-Chinese、Bloom等大语言模型进行指令微调，提升其在医疗问答领域的效果。利用医学知识图谱和文献，结合ChatGPT API构建数据集，开源了包括活字和Bloom在内的多种微调模型。适用于智慧医疗，模型在心肌梗塞、肝胆管结石等疾病的诊断和治疗方案建议方面表现优异，支持个性化微调和应用。

Firefly作为一个开源大模型训练工具，提供预训练、指令微调和DPO的全面解决方案。支持LoRA、QLoRA等高效训练技术，并涵盖多种主流大模型如Qwen2、Yi-1.5，特别适合显存和资源有限的环境。项目不仅开源多种数据集，还在Open LLM排行榜中展示了QLoRA训练的高效性，并与Unsloth合作，进一步优化了训练效率和显存使用。

《DecryptPrompt》提供全面的LLM应用、训练框架、优化策略和技术指南。覆盖大模型比较、微调技术、开源资源及实操案例，助力用户掌握最新AI动态和前沿技术，尤其深度涉及agent指令微调和LLM应用设计。

LESS项目提供了一种数据选择方法，通过选择有影响力的数据来增强特定功能。该项目涵盖了安装要求、数据准备、数据选择和模型训练的详细步骤，并提供相应的脚本和指南。通过预热训练、构建梯度数据存储库、任务数据选择和最终训练四个步骤，提升模型在下游任务中的表现能力。利用Flan v2、COT、Dolly和Open Assistant等训练数据集，以及MMLU、TydiQA和BBH等评估数据集，优化特定任务的模型性能。

该项目详细介绍了如何从零开始构建小规模参数的语言模型（LLM），经过预训练、指令微调、奖励模型和强化学习四个阶段。项目基于bert4torch训练框架，优化内存占用，并提供完整的训练日志以供复现。模型支持与transformers兼容，能够进行多轮对话。项目也开源了预训练语料和权重，方便用户下载和使用，提升了实用性与操作性。

H2o-wizardlm是一个开源项目，旨在从现有指令微调的LLM模型中自动生成高复杂度指令，适用于进一步微调。该项目基于Apache 2.0许可的模型和数据，支持输入指令微调的LLM和种子提示（未来支持文档语料库），输出为高复杂度的指令提示及其响应，无需违反Vicuna或ShareGPT的服务条款。

该项目结合了OpenFlamingo模型和MIMIC-IT数据集进行多模态指令调优，拥有280万条指令-响应对，支持图像和视频内容的精确理解与互动。该项目还包括OtterHD模型，提升高分辨率视觉输入的细粒度解释，并推出MagnifierBench评估基准测试模型的微小物体识别能力。公开的代码可用于训练和预训练，并支持GPT4V的评估和Flamingo架构的多任务处理。

SEED-X是一个多功能的多模态基础模型，经过指令微调后可应用于各种实际场景。该模型整合了多粒度的理解和生成能力，能够满足多样化的用户需求。SEED-X既可作为交互式设计工具生成和编辑图像，又能充当智能助手理解各种尺寸的图像并提供相关建议。项目已开源模型、指令微调代码和推理代码，同时提供在线演示。

该项目汇总了多模态大语言模型(MLLMs)领域的最新研究成果，包括论文、数据集和评估基准。涵盖多模态指令微调、幻觉、上下文学习等方向，提供相关代码和演示。项目还包含MLLM调查报告及MME、Video-MME等评估基准，为研究人员提供全面参考。

OctoPack是一个开源的代码大语言模型指令微调与评估工具集。它包含CommitPack数据集、OctoCoder和OctoGeeX模型、HumanEvalPack评估基准等关键组件。该项目提供数据处理、模型训练和评估的完整流程,助力研究人员开发和优化代码大语言模型。OctoPack的所有组件均可自由使用,为代码AI研究提供了宝贵资源。

IEPile是一个包含0.32B tokens的双语信息抽取指令数据集,整合了26个英文和7个中文信息抽取数据集。采用基于模式的分批指令生成策略,IEPile支持多种信息抽取任务。研究者利用IEPile对Baichuan2-13B-Chat和LLaMA2-13B-Chat模型进行微调,在全监督和零样本信息抽取任务中均实现了显著性能提升。项目提供了详细的数据格式说明和模型训练指南。

BELLE项目致力于推动中文对话大模型的开源发展，重点关注如何利用开源预训练大语言模型构建具有指令理解能力的个性化语言模型。该项目持续公开指令训练数据、模型、训练代码和应用场景，同时评估不同训练数据和算法对模型性能的影响。BELLE专门针对中文进行优化，仅采用ChatGPT生成的数据进行模型调优，不包含其他来源的数据。

该项目汇集了大型语言模型在视频理解领域的最新应用进展,包括视频LLM模型、训练策略、相关任务、数据集、基准测试和评估方法。项目全面概述了LLM如何推动视频理解技术发展,并探讨了其应用前景。这是研究人员和开发者了解视频LLM最新进展的重要资源。

YAYI-UIE是一个信息抽取统一大模型，基于百万级高质量数据训练而成。该模型支持命名实体识别、关系抽取和事件抽取等任务，涵盖通用、安全、金融、生物、医疗等多个领域。YAYI-UIE在多个中英文数据集上展现出优秀的零样本性能，为信息抽取研究和应用提供了有力工具。作为开源项目，YAYI-UIE促进了中文预训练大模型社区的发展，推动了开放人工智能生态系统的建设。

HugNLP是基于Hugging Face的NLP开发应用库，为研究人员提供便利高效的开发环境。它集成了丰富的模型、处理器和应用模块，支持知识增强预训练、提示微调、指令调优等技术。该框架还包含参数高效学习、不确定性估计等工具，可用于构建多种NLP应用。HugNLP获得CIKM 2023最佳演示论文奖。

PMC-LLaMA是一个基于医学文献预训练和指令微调的开源大语言模型。该模型在USMLE、MedMCQA等医学测试中表现优异，能够有效处理医学问答和相关查询。PMC-LLaMA为研究人员提供了便利的使用和开发平台，促进医学人工智能研究的进展。

Granite Code Models是一系列专注于代码生成任务的解码器模型，涵盖116种编程语言。这些模型在代码生成、解释、修复和翻译等多项任务中表现出色。模型使用合规数据训练，以Apache 2.0许可发布，可用于研究和商业目的。该系列包括基础模型和指令调优模型，参数规模从3B到34B不等，满足不同需求。

UrbanGPT是一款创新的时空大语言模型，融合时空依赖性编码器和指令微调范式。该模型能够理解复杂的时空相互依赖关系，在数据稀缺情况下实现全面准确的预测。UrbanGPT在多种城市任务中展现出优秀的泛化能力，尤其在零样本场景下表现出色，为城市规划和管理提供了有力的智能分析支持。

INTERS是一个包含20个信息检索任务的指令微调数据集，旨在提升大型语言模型的搜索能力。该项目基于43个数据集构建，涵盖查询理解、文档理解和查询-文档关系理解三大类任务。实验表明，INTERS能有效增强LLaMA、Mistral等开源大型语言模型在信息检索方面的表现，为搜索技术发展开辟新路径。

本项目汇集了多模态大语言模型(MLLM)相关资源,涵盖数据集、指令微调、上下文学习、思维链等多个方面。内容持续更新,跟踪MLLM领域最新进展。项目还将发布LLM和MLLM最新研究综述。这是研究人员和开发者了解MLLM前沿动态的重要参考。

GraphGPT是一个将大语言模型与图结构知识对齐的创新框架。该框架通过文本-图谱接地编码结构信息,采用双阶段图指令微调适应图学习任务,并运用思维链蒸馏提升推理能力。GraphGPT有效增强了语言模型对图数据的理解和处理能力,为图结构数据分析提供了新的研究方向。

Lion项目开发了一种对抗蒸馏框架，通过模仿、辨别和生成三个阶段从专有大型语言模型中提取知识。该框架不断挑战学生模型，提升其能力。使用70k指令数据训练后，Lion (7B)模型性能接近ChatGPT。项目公开了模型权重、训练和推理代码，在开放式生成和推理任务中表现出色。Lion致力于推进语言模型研究，仅限研究用途。

该项目探索了一种指令微调Stable Diffusion模型的方法,使其能够根据输入图像和特定指令进行图像编辑。结合FLAN和InstructPix2Pix的思想,项目通过构建指令数据集和训练,提升了模型执行图像转换任务的能力。研究涵盖卡通化和低级图像处理,并开源了相关代码、模型和数据集。

由日本团队发起，项目提供基于Transformer架构的大型语言模型，支持多种编程语言和文本生成，专注于自然语言处理。模型经过大规模数据集的预训练和细化调试，展现出卓越的文本生成能力。

Infinity-Instruct-7M-Gen-Llama3.1-8B是一个开源指令调优模型，无需人类反馈即可达到较高性能。依托于百万级数据集的训练，该模型展现出优于GPT-4在AlpacaEval 2.0测试中的表现。项目持续更新，提供多样模型权重和数据集资源，支持学术研究。采用FlagScale技术，显著降低训练成本。

MAmmoTH2项目通过创新的指令微调技术，提升大型语言模型在推理基准上的显著表现。该项目高效采集了来自预训练网络语料的1000万条指令-响应对，成功开发出无需特定领域数据且在MATH与GSM8K基准上表现优异的模型。MAmmoTH2-Plus进一步基于公共数据进行训练，在推理与聊天机器人领域设定了新标准。本项目展示了一种获取大规模优质指令数据的高性价比方法，提供了增强大型语言模型推理能力的全新视角。

Luxia-21.4b-alignment模型通过直接偏好优化训练，展现出在自然语言处理任务中的出色性能，甚至超越多参数模型。采用最先进的指令微调技术并结合多种数据集进行训练，计划发布多种模型版本。数据污染测试结果显示出色的泛化能力和准确性，在多项基准测试中表现优越。

Llama3 8B SEA-Lionv2.1 Instruct是一种为东南亚设计的多语言大模型，支持英语、印尼语、泰语、越南语等。与前版本相比，模型在指令执行和交互能力上有显著提升。经过细致的指令调整，模型引入本地化和翻译处理以保证数据适用性与自然性。模型可通过Huggingface访问，需指定Transformers库版本，并注意模型安全性未经特别调校。参与项目改进可通过GitHub。

Infinity-Instruct-3M-0613-Mistral-7B是一个开源的指导调优模型，无需人类反馈的强化学习。该模型在百万级指令数据集上经过微调，在AlpacaEval 2.0基准测试中取得了25.5的高分，表现优于Mixtral 8x7B v0.1、Gemini Pro和GPT-3.5。通过低成本训练提高了Mistral-7B的基础能力和对话能力，并在MT-Bench测试中表现出色。适合多样化的下游任务，该模型为研究与应用提供了良好的支持。

Bllossom团队推出的这是一个全新的韩英双语语言模型，旨在增强Meta-Llama-3.2-3B的韩语能力。通过150GB高质量韩语数据的调优，该模型在不影响英语表现的同时，对韩语支持进行了强化。在LogicKor测试中表现突出，并允许多种性能优化方法。该项目在AAAI2024等会议上获得了口头报告机会，旨在进一步推动韩语语言能力的提升。

EXAONE-3.0-7.8B-Instruct是LG AI Research开发的英韩双语生成模型，拥有78亿参数。经过8万亿token的预训练和指令微调后，该模型在多项基准测试中表现出色，与同等规模的顶级开源模型相媲美。它不仅支持英语和韩语的对话生成，还可应用于广泛的自然语言处理任务，为推动人工智能研究生态系统的发展做出了贡献。

FLAN-T5-XL是基于T5架构的大规模语言模型，经过1000多个任务的指令微调。该模型支持多语言处理，在翻译、问答和逻辑推理等任务中表现优异。它在少样本学习方面的能力出众，可与更大模型相媲美。FLAN-T5-XL为研究人员提供了探索零样本和少样本NLP任务的强大工具，同时有助于推进语言模型的公平性和安全性研究。

Vikhr-7B-instruct_0.4是一款针对俄语和英语优化的指令微调大语言模型。新版本通过增加SFT训练数据，大幅提升了JSON处理和多轮对话的稳定性，尤其在处理长上下文和复杂提示时表现出色。模型采用Flash Attention 2技术，支持Google Colab使用，并提供GGUF格式。项目包含详细的使用示例和学术引用信息，方便研究人员和开发者快速上手。

InternVL2-8B是一个基于InternViT-300M-448px和internlm2_5-7b-chat的多模态大语言模型。该模型在文档理解、图表分析和场景文本识别等图像任务中表现优异，同时在视频理解和目标定位方面也展现出强大能力。支持8k上下文窗口，能够处理长文本、多图像和视频输入，在开源多模态模型中具有竞争力。

Phi-3-medium-4k-instruct是一个14B参数的轻量级开源语言模型,在常识、语言理解、数学和编码等多项基准测试中表现优异。该模型采用高质量合成数据和公开数据训练,经过指令微调和安全优化,支持4K上下文长度。它适用于内存/计算受限环境和低延迟场景,可广泛应用于商业和研究领域。