访问官网
Github
Huggingface
文档
论文项目介绍：spacy-llm
项目概述
spacy-llm 是一个创新的软件包，它将大型语言模型（LLMs）与知名的自然语言处理库 spaCy 集成在一起。通过这一集成，用户可以快速原型化和提示设计，并将无结构化的响应转化为稳健的输出，适用于多种NLP任务，并且不需要训练数据。这使得它在处理复杂语言任务时得心应手，无论是专业人员还是爱好者都能从中受益。
主要特性
- 序列化的 llm 组件：可以将提示语集成到 spaCy 的管道中。
- 模块化功能：定义不同任务（提示和解析）和模型，简化了定制化需求。
- API接口：支持与多个大型语言模型平台的API接口，如OpenAI、Cohere、Anthropic、Google PaLM和Microsoft Azure AI，此外还支持 Hugging Face 上的开源LLMs，例如 Falcon、Dolly、Llama 2 等。
- LangChain集成：可以在 spacy-llm 中使用所有的 LangChain 模型和功能。
- 内置任务：提供多种即开即用的任务，包括命名实体识别、文本分类、词形还原、关系抽取、情感分析、片段分类、摘要生成、实体链接、翻译等。
- 自定义功能：通过 spaCy 的注册功能轻松实现自定义提示、解析和模型集成。
背后的动机
大型语言模型以其强大的自然语言理解能力而广受欢迎。通过少量乃至无需示例，LLM即可被提示执行自定义的NLP任务，如文本分类、命名实体识别等。与之相比，spaCy 本身提供基于监督学习或规则驱动的方法，这在生产环境中提供了更好的效率、可靠性和准确性。spacy-llm 使得用户能够在 LLM 的快速原型化能力与监督学习的高效和控制之间取得平衡，为项目的不同阶段提供灵活的选择。
安装指南
spacy-llm 将在未来的 spaCy 版本中自动安装。目前，可以通过以下方式在已安装 spaCy 的虚拟环境中安装：
python -m pip install spacy-llm
请注意，该软件包目前仍处于实验阶段，其接口可能在小版本更新中发生重大变化。
快速开始
可以使用 OpenAI 提供的 GPT 模型进行文本分类。首先创建一个新的API密钥或获取现有的密钥，并确保将其设置为环境变量。以下是 Python 代码示例：
import spacy
nlp = spacy.blank("en")
llm = nlp.add_pipe("llm_textcat")
llm.add_label("INSULT")
llm.add_label("COMPLIMENT")
doc = nlp("You look gorgeous!")
print(doc.cats)
# {"COMPLIMENT": 1.0, "INSULT": 0.0}
未来计划
spacy-llm 正在不断发展，未来的工作包括：
- 增加更多示例任务
- 支持更广泛的模型
- 提供更多示例用例和教程
问题反馈
如果在使用 spacy-llm 的过程中有任何问题，或者希望提供反馈，请利用 GitHub 的讨论板。关于错误报告，可以在 spaCy 的问题跟踪器中提交。欢迎大家的贡献与反馈！
通过 spacy-llm，使用者能够在快速原型设计和生产级别的稳健性之间游刃有余，充分发挥大型语言模型在自然语言处理中的潜力。
