KoGPT简介
KoGPT(Korean Generative Pre-trained Transformer)是由KakaoBrain开发的韩语生成预训练Transformer模型。它是一个强大的韩语自然语言处理模型,可用于文本生成、分类、摘要等多种NLP任务。
官方资源
- GitHub仓库: https://github.com/kakaobrain/kogpt
- Hugging Face模型: https://huggingface.co/kakaobrain/kogpt
模型版本
KoGPT目前有以下两个版本:
- KoGPT6B-ryan1.5b: 6B参数的float32版本
- KoGPT6B-ryan1.5b-float16: 6B参数的float16版本
硬件要求
- KoGPT6B-ryan1.5b: 需要至少32GB GPU显存
- KoGPT6B-ryan1.5b-float16: 需要至少16GB GPU显存,要求NVIDIA Volta/Turing/Ampere架构GPU
使用方法
命令行使用
python -m kogpt
prompt> 인간처럼 생각하고, 행동하는 '지능'을 통해 인류가 이제까지 풀지 못했던
temperature(0.8)>
max_length(128)> 64
Python代码使用
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained(
'kakaobrain/kogpt', revision='KoGPT6B-ryan1.5b-float16',
bos_token='[BOS]', eos_token='[EOS]', unk_token='[UNK]', pad_token='[PAD]', mask_token='[MASK]'
)
model = AutoModelForCausalLM.from_pretrained(
'kakaobrain/kogpt', revision='KoGPT6B-ryan1.5b-float16',
pad_token_id=tokenizer.eos_token_id,
torch_dtype='auto', low_cpu_mem_usage=True
).to(device='cuda', non_blocking=True)
_ = model.eval()
prompt = '인간처럼 생각하고, 행동하는 \'지능\'을 통해 인류가 이제까지 풀지 못했던'
with torch.no_grad():
tokens = tokenizer.encode(prompt, return_tensors='pt').to(device='cuda', non_blocking=True)
gen_tokens = model.generate(tokens, do_sample=True, temperature=0.8, max_length=64)
generated = tokenizer.batch_decode(gen_tokens)[0]
print(generated)
在线Demo
- Hugging Face Spaces: https://huggingface.co/spaces/akhaliq/kogpt
许可证
- 源代码: Apache 2.0 license
- 预训练权重: CC-BY-NC-ND 4.0 license
注意事项
KoGPT是基于原始数据训练的,可能会产生不恰当或有争议的内容。使用时请注意遵守相关法律法规。
以上就是KoGPT的主要学习资源汇总,希望对你了解和使用这个强大的韩语NLP模型有所帮助。如果在使用过程中遇到任何问题,欢迎访问官方GitHub仓库提issue或讨论。
