引言
在自然语言处理（NLP）领域，大型语言模型（LLM）的出现带来了巨大的突破。然而，这些模型通常需要强大的计算资源才能运行。为了解决这个问题，GitHub用户kuutsav开发了一个名为"LLM Toys"的开源项目，旨在提供小型且实用的微调语言模型。
LLM Toys项目概述
LLM Toys是一个专注于提供小型（参数量为7B及以下）、可生产就绪的微调语言模型的项目。这些模型经过精心设计，可以在普通的消费级硬件上进行微调和使用，为开发者和研究者提供了更加便捷的NLP工具。
主要特点
- 小型模型：所有模型的参数量都在7B及以下，确保了在普通硬件上的可用性。
- 多任务支持：支持多种NLP任务，包括改写、改变语气、对话摘要和主题生成等。
- 量化技术：使用LoRA（Low-Rank Adaptation）技术对量化后的3B和7B模型进行微调。
- 灵活性：3B模型针对特定任务进行微调，而7B模型则覆盖所有支持的任务。
可用模型
LLM Toys项目目前提供了三个主要的模型：
- RedPajama-INCITE-Base-3B-v1-paraphrase-tone：
- 大小：3B
- 任务：改写、改变语气
- RedPajama-INCITE-Base-3B-v1-dialogue-summary-topic：
- 大小：3B
- 任务：对话摘要和主题生成
- falcon-7b-paraphrase-tone-dialogue-summary-topic：
- 大小：7B
- 任务：改写、改变语气、对话摘要和主题生成
这些模型都可以在Hugging Face上找到，并且提供了相应的Colab笔记本，方便用户快速体验和使用。
使用方法
LLM Toys的使用非常简单直观。以下是几个主要功能的使用示例：
改写功能
from llm_toys.tasks import Paraphraser
paraphraser = Paraphraser()
result = paraphraser.paraphrase("Hey, can yuo hepl me cancel my last order?")
print(result)
# 输出: "Could you kindly assist me in canceling my previous order?"
改变语气功能
result = paraphraser.paraphrase("Hey, can yuo hepl me cancel my last order?", tone="professional")
print(result)
# 输出: "I would appreciate guidance on canceling my previous order."
对话摘要和主题生成
from llm_toys.tasks import SummaryAndTopicGenerator
summary_topic_generator = SummaryAndTopicGenerator()
result = summary_topic_generator.generate_summary_and_topic(
"""
#Person1#: I'm so excited for the premiere of the latest Studio Ghibli movie!
#Person2#: What's got you so hyped?
#Person1#: Studio Ghibli movies are pure magic! The animation, storytelling, everything is incredible.
#Person2#: Which movie is it?
#Person1#: It's called "Whisper of the Wind." It's about a girl on a magical journey to save her village.
#Person2#: Sounds amazing! I'm in for the premiere.
#Person1#: Great! We're in for a visual masterpiece and a heartfelt story.
#Person2#: Can't wait to be transported to their world.
#Person1#: It'll be an unforgettable experience, for sure!
""".strip()
)
print(result)
输出结果将包含对话的摘要和主题。
安装和环境要求
要使用LLM Toys，您需要一个支持CUDA的GPU。安装过程可能会遇到一些与bitsandbytes包相关的问题，项目README中提供了相应的解决方案。
安装命令：
pip install llm-toys
训练数据和过程
LLM Toys使用了多种来源的训练数据：
-
改写和语气变化数据：主要使用GPT-3.5-turbo生成，并从Quora问题和SQuAD 2.0数据集中选取了一小部分样本。
-
对话摘要和主题生成数据：使用了Dialogsum数据集的约1000条记录，以及20个开发集样本。
训练过程使用了4位量化和LoRA技术，以便在普通硬件上进行微调。项目还提供了详细的训练脚本和参数设置，方便用户进行自定义训练。
评估结果
对于对话摘要和主题生成任务，LLM Toys在Dialogsum测试集上进行了评估。结果显示，3B和7B模型在ROUGE指标和主题相似度上都取得了不错的表现：
-
RedPajama-INCITE-Base-3B-v1-dialogue-summary-topic: ROUGE-1: 0.453, ROUGE-2: 0.197, ROUGE-L: 0.365, 主题相似度: 0.888
-
falcon-7b-paraphrase-tone-dialogue-summary-topic: ROUGE-1: 0.448, ROUGE-2: 0.195, ROUGE-L: 0.359, 主题相似度: 0.886
未来发展计划
LLM Toys项目的开发者计划在未来实现以下目标：
- 添加测试用例
- 实现在不重新初始化骨干模型和分词器的情况下切换LoRA（用于特定任务的模型）
- 开发检索增强的问答功能
- 探索3B模型在更多任务上的泛化能力
- 研究更小的模型
- 为没有现成测试/评估数据集的任务制定评估策略
- 开发数据收集策略，并微调模型以实现类似OpenAI的"函数调用"功能
结论
LLM Toys为NLP领域带来了一套实用、轻量级的工具，使得开发者和研究者能够在普通硬件上使用先进的语言模型技术。通过提供多种任务的支持和简单的使用方法，LLM Toys有望在自然语言处理应用的开发中发挥重要作用。随着项目的不断发展和完善，我们可以期待看到更多创新功能和更广泛的应用场景。
