DatasetGPT：revolutionizing dataset generation with large language models

datasetGPT

DatasetGPT：AI驱动的数据集生成新纪元

在人工智能和机器学习飞速发展的今天，高质量、大规模的数据集对于训练和评估模型至关重要。然而，获取这样的数据集往往耗时耗力，成本高昂。面对这一挑战，一个名为DatasetGPT的创新工具应运而生，为数据科学家和研究人员提供了一种全新的数据集生成方法。

DatasetGPT简介

DatasetGPT是一个开源的命令行工具和Python库，旨在利用大型语言模型（LLMs）生成文本和对话数据集。该工具由GitHub用户radi-cho开发，目前已获得290颗星标和18次分叉，显示出其在开发者社区中的受欢迎程度。

DatasetGPT GitHub仓库截图

核心功能

DatasetGPT的主要功能可以分为两大类：

文本生成（datasetGPT texts）：
- 支持多种LLM后端，如OpenAI的GPT-3和GPT-4、Cohere的语言模型、以及通过Petals API使用的BLOOM模型。
- 可以通过变化输入参数和使用多个后端来生成多样化的文本。
对话生成（datasetGPT conversations）：
- 能够模拟两个ChatGPT代理之间的对话，并记录对话历史。
- 支持设置对话长度、温度、角色描述等参数。

使用场景

DatasetGPT的应用场景非常广泛，包括但不限于：

构建文本语料库，用于训练或微调AI内容检测器。
收集LLM生成的对话数据集，用于研究AI性能、影响和伦理等方面。
自动化处理大量输入文本的任务，例如使用GPT-3总结1000个段落。
利用大型LLM的API生成多样化文本，然后用这些文本微调较小的模型。

安装与使用

要使用DatasetGPT，首先需要安装必要的依赖：

pip install openai cohere petals

然后，可以通过命令行界面使用DatasetGPT的功能。以下是一个生成文本数据集的示例：

export OPENAI_API_KEY="..."
export COHERE_API_KEY="..."

datasetGPT texts \
    --prompt "If {country} was a planet in the Star Wars universe it would be called" \
    --backend "openai|text-davinci-003" \
    --backend "cohere|medium" \
    --temperature 0.9 \
    --option country Germany \
    --option country France \
    --max-length 50 \
    --num-samples 1 \
    --single-file

这个命令将生成一个包含4个文本的数据集文件，每种可能的选项组合都会用于每个后端LLM。

对话生成示例

DatasetGPT还可以生成模拟对话数据集，这是其最引人注目的功能之一。以下是一个生成对话数据集的示例：

export OPENAI_API_KEY="..."
datasetGPT conversations \
    --length 4 \
    --length 5 \
    --agent1 "You're a shop assistant in a pet store. Answer to customer questions politely." \
    --agent2 "You're a customer in a pet store. You should behave like a human. You want to buy {n} pets. Ask questions about the pets in the store." \
    --temperature 0.1 \
    --temperature 0.2 \
    --option n 2 \
    --option n 3 \
    --path dataset

这个命令将生成16个对话，每个对话保存为一个JSON文件。每个可能的参数组合（对话长度、LLM温度和自定义提示选项）都会生成相应数量的对话。