CDial-GPT入门学习资料汇总
CDial-GPT是清华大学人工智能研究院COAI实验室开发的一个大规模中文对话预训练模型项目。它提供了一个高质量的中文短文本对话数据集LCCC,以及在此数据集上预训练的中文GPT对话模型。本文将介绍CDial-GPT的相关学习资源,帮助读者快速上手使用这一优秀的中文对话模型。
项目简介
CDial-GPT项目主要包含两部分内容:
-
LCCC(Large-scale Cleaned Chinese Conversation)数据集:一个经过严格清洗的大规模中文对话数据集,包括LCCC-base和LCCC-large两个版本。
-
中文对话预训练模型:基于LCCC数据集预训练的中文GPT对话模型,可用于各种对话生成任务。
项目地址:https://github.com/thu-coai/CDial-GPT
数据集资源
LCCC数据集分为base和large两个版本:
-
LCCC-base:
-
LCCC-large:
数据集的详细统计信息可以在项目README中查看。
🔍 LCCC数据集还可以通过Hugging Face的datasets库直接加载使用:
from datasets import load_dataset
dataset = load_dataset("lccc", "base") # 或 "large"
预训练模型
CDial-GPT提供了多个版本的预训练模型:
-
CDial-GPT_LCCC-base: 在LCCC-base上训练的GPT模型 https://huggingface.co/thu-coai/CDial-GPT_LCCC-base
-
CDial-GPT2_LCCC-base: 在LCCC-base上训练的GPT2模型
https://huggingface.co/thu-coai/CDial-GPT2_LCCC-base -
CDial-GPT_LCCC-large: 在LCCC-large上训练的GPT模型 https://huggingface.co/thu-coai/CDial-GPT_LCCC-large
这些模型可以通过Hugging Face的transformers库直接加载使用。
使用教程
1. 安装
git clone https://github.com/thu-coai/CDial-GPT.git
cd CDial-GPT
pip install -r requirements.txt
2. 加载预训练模型
from transformers import BertTokenizer, OpenAIGPTLMHeadModel
tokenizer = BertTokenizer.from_pretrained("thu-coai/CDial-GPT_LCCC-base")
model = OpenAIGPTLMHeadModel.from_pretrained("thu-coai/CDial-GPT_LCCC-base")
3. 模型微调
准备数据集(如STC数据集),然后运行:
python train.py --pretrained --model_checkpoint thu-coai/CDial-GPT_LCCC-large --data_path data/STC.json --scheduler linear
4. 对话生成
python interact.py --model_checkpoint YOUR_MODEL_PATH
更多详细的使用说明可以参考项目README和源代码。
相关论文
如果CDial-GPT对您的研究有帮助,请引用以下论文:
@inproceedings{wang2020chinese,
title={A Large-Scale Chinese Short-Text Conversation Dataset},
author={Wang, Yida and Ke, Pei and Zheng, Yinhe and Huang, Kaili and Jiang, Yong and Zhu, Xiaoyan and Huang, Minlie},
booktitle={NLPCC},
year={2020},
url={https://arxiv.org/abs/2008.03946}
}
论文地址:https://arxiv.org/abs/2008.03946
总结
CDial-GPT为中文对话系统研究提供了宝贵的数据和模型资源。通过本文介绍的各种学习资料,相信读者可以快速上手使用CDial-GPT,并将其应用到自己的研究工作中。如果在使用过程中遇到问题,也可以在项目的GitHub Issues中寻求帮助。
希望本文对您了解和使用CDial-GPT有所帮助!如果您对中文对话系统感兴趣,CDial-GPT绝对是一个值得深入研究的优秀项目。
