chatbot 项目介绍
这是一个令人兴奋的中文聊天机器人项目,它紧跟当前人工智能发展趋势,正在向 GPT 类模型方向发展。该项目的独特之处在于它允许用户使用自己的语料进行训练,从而创造出个性化的聊天机器人。
项目特点
- 支持自定义训练数据
- 提供 Seq2Seq 和 GPT 两种模型架构
- 多 AI 框架支持,包括 TensorFlow 和 PyTorch
- 计划引入 MindSpore 版本
- 未来将支持图文多模态对话
发展路线
项目的发展计划分为两个主要阶段:
-
V1.1 版本(预计 2024 年 9 月 30 日更新):
- 引入 MindSpore 版本,优先在此版本上实现 GPT 模型和 RLHF 等特性
- 将工程架构分为 Seq2Seq 和 GPT 两大分支
-
V1.2 版本(预计 2024 年 12 月 30 日更新):
- 实现类似 mini-GPT4 的功能,支持图文多模态对话
- 增强分布式集群训练能力和 RLHF 特性
使用指南
对于 Seq2Seq 版本,用户可以按以下步骤操作:
- 下载代码和语料(推荐使用小黄鸡语料)
- 将语料文件放入 train_data 目录
- 在 config/seq2seq.ini 文件中配置超参数
- 按顺序执行:数据预处理器 (data_utls.py) -> 执行器 (execute.py) -> 可视化对话模块 (app.py)
对于大规模分布式训练,可以使用 Horovod 启动方式。
训练环境建议
项目推荐的训练环境配置如下:
- 操作系统:Ubuntu 18.04
- Python 版本:3.6
TensorFlow 2.x 版本:
- TensorFlow 2.6.0
- Flask 0.11.1
- Horovod 0.24(用于分布式训练)
PyTorch 版本:
- PyTorch 1.11.0
- Flask 0.11.1
开源交流
项目维护者热衷于与社区成员交流,欢迎通过 QQ 联系(934389697)。无论是提出建议、报告问题还是分享使用经验,都将促进项目的进一步发展。
这个项目不仅展现了聊天机器人技术的最新进展,还为用户提供了一个灵活、可定制的平台。随着项目的不断发展,它有望在不久的将来支持更加先进的功能,如多模态交互,为用户带来更加丰富和有趣的对话体验。