autolabel - 利用大语言模型自动标注、清洗和丰富文本数据集的Python库

Autolabel 项目介绍

项目概述

Autolabel 是一个用于标注、清理和丰富文本数据集的 Python 库。它能够通过用户选择的任意大型语言模型（LLM）来实现自动化的数据标注。这种方法比起传统的手动标注，不仅提高了标注精度，还大大减少了所需的时间和成本。

如何安装

用户可以通过简单的命令来快速安装 Autolabel：

pip install refuel-autolabel

文档与支持资源

有关 Autolabel 的更详细的文档，可以访问 Refuel 的文档页面。此外，用户也可以通过 Discord 和 Twitter 与社区进行互动交流。

Autolabel 如何工作

配置标注指南：用户需要通过一个 JSON 配置文件指定标注指南和所选用的 LLM 模型。
试运行：进行试运行以确保最终提示词满足需求。
运行标注：启动数据集的标注工作。

通过以上简单的三步，用户即可使用 Autolabel 进行高效的数据标注。举个例子，假设用户想要建立一个用于电影评论情感分析的模型，可以使用如下的配置：

{
    "task_name": "MovieSentimentReview",
    "task_type": "classification",
    "model": {
        "provider": "openai",
        "name": "gpt-3.5-turbo"
    },
    "dataset": {
        "label_column": "label",
        "delimiter": ","
    },
    "prompt": {
        "task_guidelines": "You are an expert at analyzing the sentiment of movie reviews. Your job is to classify the provided movie review into one of the following labels: {labels}",
        "labels": [
            "positive",
            "negative",
            "neutral"
        ],
        "few_shot_examples": [
            {
                "example": "I got a fairly uninspired stupid film about how human industry is bad for nature.",
                "label": "negative"
            },
            {
                "example": "I loved this movie. I found it very heart warming to see Adam West, Burt Ward, Frank Gorshin, and Julie Newmar together again.",
                "label": "positive"
            },
            {
                "example": "This movie will be played next week at the Chinese theater.",
                "label": "neutral"
            }
        ],
        "example_template": "Input: {example}\nOutput: {label}"
    }
}