autolabel
Autolabel是一个Python库,利用大语言模型(LLM)自动标注、清洗和丰富文本数据集。它大幅减少手动标注的时间和成本,同时提供高准确率的标注结果。该库支持多种NLP任务,如分类、问答、命名实体识别等,兼容OpenAI、Anthropic、HuggingFace等多家提供商的LLM。Autolabel还提供信心估算、结果解释、缓存和状态管理功能,并支持使用Refuel托管的开源LLM进行标注。用户可根据具体任务配置标注指南,并通过简单的三步流程完成数据标注。