Github
Huggingface
论文InsTag：LLM监督微调中数据分析工具
我们推出了一个名为InsTag的工具，用于分析符合人类偏好的LLM监督微调(SFT)数据。对于本地标注部署，我们发布了基于InsTag结果微调的InsTagger，用于标注SFT数据中的查询。
通过标签范围，我们从开源SFT数据中采样了6K子集来微调LLaMA和LLaMA-2，微调后的模型TagLM-13B-v1.0和TagLM-13B-v2.0在MT-Bench上的表现优于许多开源LLM。
🤗 InsTagger 检查点 • 👉 在线LocalTagger演示 • 📖 论文
🤖️ TagLM-13B-v1.0 检查点 🤖️ TagLM-13B-v2.0 检查点
什么是InsTag？
基础语言模型通过监督微调(SFT)获得指令跟随能力。 多样性和复杂性被认为是成功SFT数据集的关键因素，但它们的定义仍然模糊，缺乏定量分析。 在本研究中，我们提出了InsTag，一个开放集细粒度标注器，基于语义和意图对SFT数据集中的样本进行标注，并根据标签定义指令多样性和复杂性。 我们获得了6.6K个标签来描述全面的用户查询。 我们分析了流行的开源SFT数据集，发现模型能力随着更多样和复杂的数据而增长。 基于这一观察，我们提出了一个基于InsTag的数据选择器，从开源数据集中选择6K个多样化和复杂的样本，并在InsTag选择的数据上微调模型。 这些模型在MT-Bench评估中表现优于基于大得多的SFT数据的开源模型，印证了查询多样性和复杂性的重要性。
新闻
-
[2023年8月] 🔥 我们在ModelScope上有InsTagger的在线演示。请参考顶部的链接。感谢ModelScope！
-
[2023年8月] 🔥 我们发布了基于LLaMA和LLaMA-2的对齐LLM TagLM-13B-v1.0和TagLM-13B-v2.0。两者都是在根据InsTag子采样的SFT数据上微调的。下载 v1.0 和 [v2.0](.
-
[2023年8月] 🔥 我们发布了一个名为InsTagger的大语言模型，该模型在我们的标注结果上进行了微调，用于本地标注部署。下载权重。
-
[2023年8月] 🔥 我们推出了InsTag，这是我们的SFT数据分析工具。查看论文。
目录
InsTagger
InsTagger是一个基于LLaMa-2的SFT模型，使用FastChat在vicuna模板下训练。你可以在HuggingFace模型仓库轻松下载权重，然后使用FastChat进行服务或推理。示例代码即将发布。
模型检查点
-
InsTagger用于本地查询标注：
InsTagger是一个标注用大语言模型，在InsTag对开源SFT数据的标注结果上进行了微调。该模型基于LLaMA-2的7B版本。
在下方下载模型检查点：
模型 检查点 精确匹配F1 基于语义的模糊匹配F1 许可证 LocalTagger 🤗 HF链接 31.8% 73.4% LLaMA 2许可证 -
TagLM，在我们通过复杂度优先的多样性采样程序子采样的SFT数据上进行微调：
仅使用当前开源SFT数据集中的6k数据，TagLM在MT-Bench上的表现（使用GPT-4作为评判）就可以超越许多开源大语言模型。
在下方下载模型检查点：
模型 检查点 MT-Bench 许可证 TagLM-13B-v1.0 🤗 HF仓库链接 6.44 LLaMA许可证 TagLM-13B-v2.0 🤗 HF仓库链接 6.55 LLaMA 2许可证 所有模型均基于LLaMA或LLaMA-2，应按照其相应的许可证使用。所有模型都使用FastChat代码库进行微调，我们应用了Vicuna V1.1的系统模板。
引用
如果您发现本仓库有帮助，请引用我们的工作。
@misc{lu2023instag,
title={#InsTag: Instruction Tagging for Analyzing Supervised Fine-tuning of Large Language Models},
author={Keming Lu and Hongyi Yuan and Zheng Yuan and Runji Lin and Junyang Lin and Chuanqi Tan and Chang Zhou and Jingren Zhou},
year={2023},
eprint={2308.07074},
archivePrefix={arXiv},
primaryClass={cs.CL}
}
