Logo
Project Icon

OpenChatKit

强大的开源对话模型开发工具包

OpenChatKitAI模型自然语言处理开源项目模型训练Github

OpenChatKit是一套功能全面的开源工具包,用于开发专业和通用对话模型。它集成了指令微调的语言模型、内容审核模型和可扩展检索系统。该项目提供训练、微调和测试各种规模模型的代码,并支持检索增强功能。OpenChatKit基于OIG-43M数据集训练,由Together、LAION和Ontocord.ai联合开发。这一灵活的基础设施为开发者构建定制对话应用提供了便利。

GithubGithubHuggingfaceHuggingface
介绍相关项目

OpenChatKit

OpenChatKit提供了一个强大的开源基础，可用于创建专用和通用模型，适用于各种应用。该工具包包括一个经过指令调整的语言模型、一个审核模型，以及一个可扩展的检索系统，用于从自定义存储库中包含最新响应。OpenChatKit模型是在OIG-43M训练数据集上训练的，该数据集是由Together、LAION和Ontocord.ai合作完成的。

在此存储库中，您将找到以下代码：

  • 训练GPT-NeoXT-Chat-Base-20B，一个20B参数的聊天模型（参见docs/GPT-NeoXT-Chat-Base-20B.md）
  • 微调Llama-2-7B-32K-beta，一个7B参数的长上下文模型
  • 训练Pythia-Chat-Base-7B，一个7B参数的聊天模型
  • 使用任一聊天模型进行推理测试
  • 通过检索索引增强模型的额外上下文

目录

入门

在本教程中，您将下载Pythia-Chat-Base-7B（一个经过指令调整的语言模型），并使用命令行工具对其进行一些推理请求。

Pythia-Chat-Base-7B是Eleuther AI的Pythia-6.9B-deduped的7B参数微调变体。该模型的预训练权重可在Hugging Face上获取，名为togethercomputer/Pythia-Chat-Base-7B，采用Apache 2.0许可。

更多详细信息可以在Hugging Face上的Pythia-Chat-Base-7B模型卡片中找到。

要求

在开始之前，您需要安装PyTorch和其他依赖项。

  1. 从官网安装Miniconda。

  2. 从官网安装Git LFS。

  3. 安装git lfs钩子。

git lfs install
  1. 在base环境中安装mamba，使其在所有环境中可用。
conda install mamba -n base -c conda-forge
  1. 使用存储库根目录的environment.yml文件创建名为OpenChatKit的环境。

注意 使用mamba创建环境。它比使用conda快得多。

mamba env create -f environment.yml
  1. 激活新的conda环境。
conda activate OpenChatKit

与Pythia-Chat-Base-7B聊天

为了帮助您尝试该模型，inference/bot.py是一个简单的命令行测试工具，提供了一个shell界面，使您能够与模型聊天。只需在提示符下输入文本，模型就会回复。测试工具还维护对话历史，为模型提供上下文。

从存储库的根目录调用bot.py来启动机器人。

python inference/bot.py --model togethercomputer/Pythia-Chat-Base-7B

加载模型可能需要一些时间，但一旦加载完成，您会看到一个提示。打个招呼吧。

$ python inference/bot.py 
Loading /home/csris/src/github.com/togethercomputer/OpenChatKit/inference/../huggingface_models/GPT-NeoXT-Chat-Base-20B to cuda:1...
Welcome to OpenChatKit shell.   Type /help or /? to list commands.

>>> Hello.
Hello human.

>>>

在提示符下输入其他查询，模型将回复。在底层，shell会将所有先前的查询组成一个提示，并将其传递给模型以生成更多文本。

shell还支持其他命令来检查超参数、完整提示等。命令以/为前缀。

注意 /quit命令退出shell。

有关参数、在多个/特定GPU上运行以及在消费级硬件上运行的更多详细信息，请参阅推理README。

微调Llama-2-7B-32K-beta

Llama-2-7B-32K-beta模型可以使用各种数据集进行微调。在本教程中，我们将使用多文档自然问题数据集和BookSum数据集。

下载并转换基础模型

要下载Llama-2-7B-32K-beta模型并为微调做准备，请从存储库的根目录运行以下命令。

python pretrained/Llama-2-7B-32K-beta/prepare.py

此模型的权重将位于pretrained/Llama-2-7B-32K-beta/togethercomputer_Llama-2-7B-32K-beta目录中。

微调模型

training/finetune_llama-2-7b-32k-mqa.sh和training/finetune_llama-2-7b-32k-booksum.sh脚本配置并运行训练循环。

  1. 要微调多文档自然问题数据集，请运行：

    bash training/finetune_llama-2-7b-32k-mqa.sh

  2. 要微调BookSum数据集，请运行：

    bash training/finetune_llama-2-7b-32k-booksum.sh

训练循环运行时，检查点会保存到存储库根目录的model_ckpts目录中。

有关自定义训练运行的更多详细信息，请参阅训练README。

将训练后的权重转换为Hugging Face格式

在使用此模型进行推理之前，必须将其转换为Hugging Face格式。从存储库的根目录运行以下命令来完成此操作。

例如

mkdir huggingface_models \
  && python tools/convert_to_hf_llama.py \
       --config-name togethercomputer/Llama-2-7B-32K-beta \
       --ckpt-path model_ckpts/llama-2-7b-32k-mqa/checkpoint_10 \
       --save-path huggingface_models/llama-2-7b-32k-mqa \
       --n-stages 4 \
       --n-layer-per-stage 8 \
       --fp16

其中--fp16标志将以fp16格式加载和存储模型。

确保将model_ckpts/llama-2-7b-32k-mqa/checkpoint_10替换为model_ckpts/llama-2-7b-32k-mqa或model_ckpts/llama-2-7b-32k-booksum目录中的最新检查点。

复现Pythia-Chat-Base-7B

本教程将指导您通过使用OIG数据集微调Eleuther AI的Pythia-6.9B-deduped模型来复现Pythia-Chat-Base-7B模型。

下载训练数据和基础模型

聊天模型是在LAION、Together和Ontocord.ai构建的OIG数据集上训练的。要从Hugging Face下载数据集，请从存储库的根目录运行以下命令。

python data/OIG/prepare.py

注意 您可以通过贡献数据来帮助改进这个聊天模型！有关更多详细信息，请参阅OpenDataHub存储库。

命令完成后，数据将位于data/OIG/files目录中。

Pythia-Chat-Base-7B是Eleuther AI的Pythia-6.9B-deduped的微调变体。要下载模型并为微调做准备，请从存储库的根目录运行以下命令。

python pretrained/Pythia-6.9B-deduped/prepare.py

此模型的权重将位于pretrained/Pythia-6.9B-deduped/EleutherAI_pythia-6.9b-deduped目录中。

（可选）8位Adam

要在训练期间使用8位adam，请安装bitsandbytes包。

pip install bitsandbytes # 可选，用于使用8位adam

训练模型

training/finetune_Pythia-Chat-Base-7B.sh脚本配置并运行训练循环。下载数据集和基础模型后，运行：

bash training/finetune_Pythia-Chat-Base-7B.sh

训练循环运行时，检查点会保存到存储库根目录的model_ckpts目录中。

有关自定义训练运行的更多详细信息，请参阅训练README。

将权重转换为Hugging Face格式

在使用此模型进行推理之前，必须将其转换为Hugging Face格式。从存储库的根目录运行以下命令来完成此操作。

mkdir huggingface_models \
  && python tools/convert_to_hf_gptneox.py \
       --config-name EleutherAI/pythia-6.9b-deduped \
       --ckpt-path model_ckpts/Pythia-Chat-Base-7B/checkpoint_100 \
       --save-path huggingface_models/Pythia-Chat-Base-7B \
       --n-stages 4 \
       --n-layer-per-stage 8 \
       --fp16

其中--fp16标志将以fp16格式加载和存储模型。

确保将model_ckpts/Pythia-Chat-Base-7B/checkpoint_100替换为model_ckpts/Pythia-Chat-Base-7B目录中的最新检查点。

测试新模型

您可以使用OpenChatKit Shell测试工具与新模型聊天。从存储库的根目录运行

python inference/bot.py

默认情况下，脚本将加载huggingface_models目录下名为Pythia-Chat-Base-7B的模型，但您可以通过指定--model来覆盖该行为。

python inference/bot.py --model ./huggingface_models/GPT-NeoXT-Chat-Base-20B

模型加载后，在提示符下输入文本，模型将回复。

$ python inference/bot.py 
正在将 /home/csris/src/github.com/togethercomputer/OpenChatKit/inference/../huggingface_models/GPT-NeoXT-Chat-Base-20B 加载到 cuda:1...
欢迎使用 OpenChatKit 命令行。输入 /help 或 /? 列出命令。

>>> 你好。
你好，人类。

>>>

命令行还支持额外的命令来查看超参数、完整提示词等。命令以 / 开头。

注意 /quit 命令可退出命令行。

有关参数、在多个/特定 GPU 上运行以及在消费级硬件上运行的更多详细信息，请参阅推理 README。

监控

默认情况下，训练脚本只会在训练过程中打印损失值，但它也可以使用 loguru 将指标输出到文件，或者将它们报告给 Weights & Biases。

Loguru

在训练脚本中添加 --train-log-backend loguru 标志，将日志记录到 ./logs/file_{time}.log

Weights & Biases

要使用 Weights & Biases，首先使用你的 Weights & Biases 令牌登录。

wandb login

然后在训练脚本中设置 --train-log-backend wandb 以启用 Weights & Biases 日志记录。

实验性功能：检索增强模型

警告 检索支持功能仍处于实验阶段。

/retrieval 目录中的代码实现了一个 Python 包，用于查询 Wikipedia 的 Faiss 索引。以下步骤说明如何使用此索引来增强测试工具中的查询，加入检索器提供的上下文。

  1. 下载 Wikipedia 索引。
python data/wikipedia-3sentence-level-retrieval-index/prepare.py
  1. 使用 --retrieval 标志运行机器人。
python inference/bot.py --retrieval

启动后，机器人将加载聊天模型和检索索引，这需要很长时间。一旦模型和索引加载完成，所有查询都将增加额外的上下文信息。

$ python inference/bot.py --retrieval
正在将 /OpenChatKit/inference/../huggingface_models/GPT-NeoXT-Chat-Base-20B 加载到 cuda:0...
正在加载检索索引...
欢迎使用 OpenChatKit 命令行。输入 /help 或 /? 列出命令。

>>> 苏黎世在哪里？
苏黎世在哪里？
苏黎世位于瑞士。

>>>

另请参阅

  • docs/GPT-NeoXT-Chat-Base-20B.md。OpenChatKit 还提供了一个更大的 20B 参数聊天模型，该模型是在 Eleuther AI 的 GPT-NeoXT-Chat-Base-20B 基础上训练而成。

许可证

本仓库中的所有代码均由 Together Computer 开发，除非另有说明。版权所有 (c) 2023，Together Computer。保留所有权利。代码根据 Apache 2.0 许可证授权。

版权所有 2023 Together Computer

根据 Apache 许可证 2.0 版（"许可证"）授权；
除非遵守许可证，否则您不得使用此文件。
您可以在以下位置获取许可证副本：

   http://www.apache.org/licenses/LICENSE-2.0

除非适用法律要求或书面同意，否则根据许可证分发的软件是基于
"按原样"分发的，不附带任何明示或暗示的担保或条件。
有关许可证下的特定语言管理权限和限制，请参阅许可证。

本仓库还包含由其他多位作者编写的代码。这些贡献已标明，并在适当的地方包含了相关的许可。

有关完整条款，请参阅 LICENSE 文件。如果您对许可有任何问题、意见或疑虑，请联系我们。

引用 OpenChatKit

@software{openchatkit,
  title = {{OpenChatKit: 用于对话式应用的开放工具包和基础模型}},
  author = {Together Computer},
  url = {https://github.com/togethercomputer/OpenChatKit}
  month = {3},
  year = {2023},
  version = {0.15},
}

致谢

我们的模型是在 Eleuther AI 训练的大型语言模型基础上微调而成。我们使用斯坦福大学基础模型研究中心提供的 HELM 评估了我们的模型。我们与斯坦福大学的 CRFM 和 HazyResearch 合作构建了这个模型。

我们与 LAION 和 Ontocord.ai 合作构建了用于微调此模型的训练数据。

相关项目
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台，利用前沿AI技术，为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图，再到文案生成，美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具，简化了选题、文献检索至论文撰写的整个过程。通过简单设定，平台可快速生成高质量论文大纲和全文，配合图表、参考文献等一应俱全，同时提供开题报告和答辩PPT等增值服务，保障数据安全，有效提升写作效率和论文质量。

使用协议隐私政策广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号