PaddleNLP简介
PaddleNLP是一款基于飞桨深度学习框架的大语言模型(LLM)开发套件,支持在多种硬件上进行高效的大模型训练、无损压缩以及高性能推理。PaddleNLP具备简单易用和性能极致的特点,致力于助力开发者实现高效的大模型产业级应用。
主要特性
PaddleNLP具有以下主要特性:
-
多硬件训推一体:支持英伟达GPU、昆仑XPU、昇腾NPU等多种硬件,实现训练和推理的一体化。
-
高效易用的预训练:支持4D高性能训练,包括数据并行、张量并行等策略。
-
高效精调:精调算法与高性能算子深度结合,大幅提升训练吞吐。
-
无损压缩和高性能推理:内置动态插入和算子融合策略,加快推理速度。
支持模型
PaddleNLP支持众多主流大模型,包括:
- LLaMA系列
- Baichuan系列
- Bloom系列
- ChatGLM系列
- Qwen系列
- 等等
详细支持列表请查看官方文档。
安装方法
可以通过pip安装PaddleNLP:
pip install --upgrade paddlenlp==3.0.0b1
快速开始
以下是使用PaddleNLP进行文本生成的简单示例:
from paddlenlp.transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2-0.5B")
model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen2-0.5B", dtype="float16")
input_features = tokenizer("你好！请自我介绍一下。", return_tensors="pd")
outputs = model.generate(**input_features, max_length=128)
print(tokenizer.batch_decode(outputs[0]))
学习资源
-
官方文档 - 包含详细的安装说明、API文档等
-
模型库 - 预训练模型的端到端使用教程
-
示例代码 - 多种NLP任务的示例代码
-
交互式教程 - AI Studio上的PaddleNLP教程
-
社区交流群 - 加入微信群与开发者交流
通过以上资源,您可以快速上手PaddleNLP,开始构建强大的NLP应用。如有问题,欢迎在GitHub上提issue或加入社区交流群讨论。
