GPTeacher
由GPT-4生成的模块化数据集集合,包括通用指令、角色扮演指令、代码指令和Toolformer
新增:角色扮演V2(补充)数据集已添加到/roleplay/目录: - 仍然100%由GPT4生成 - 比原始角色扮演数据集大2.5倍 - 更加多样化 - 大部分示例中包含模拟对话/聊天历史
这些数据集主要通过改编alpaca提示来创建,其中toolformer数据集的改编程度略高。使用了多个版本的提示,由于我只保存了最终提示,所以可能不会发布它,否则会让最终用户感到困惑。示例提示可参见:https://github.com/tatsu-lab/stanford_alpaca/blob/main/generate_instruction.py
通用指令使用了许多与alpaca相同的种子提示,但也包含了一些在alpaca中不常见的特定示例。例如思维链推理、逻辑谜题、文字游戏、角色扮演(轻度),并被要求在示例回答中适当包含推理背景和思考步骤等。 通用指令数据集经过去重后约有20,000个示例。
代码生成指令数据集仍在清理中,清理完成后将上传。
更新:代码指令数据集已上传!包含约5350个涉及各种编程语言的代码任务指令!
角色扮演指令数据集专门用于扮演各种背景和性格的角色,包括虚构和非虚构人物。
除角色扮演外,每个数据集都分为5个单独的数据集,基于相似度评分进行清理。包括仅简单去重的数据集,以及相似度<60%到<90%范围内清理后的数据集。
所有数据集都符合Alpaca的数据集格式,即每个数据集都包含指令、输入和输出字段,这使得使用与alpaca相同的微调脚本和过程变得更加容易。
toolformers部分的文档即将发布,我们生成了一个数据集,用于使用一组预定义的工具,包括搜索、Python、终端/shell、维基百科、Wolfram等。