访问官网
Github
Huggingface
论文Polyglot-Ko-5.8B项目介绍
Polyglot-Ko-5.8B是由EleutherAI多语言团队开发的大规模韩语自回归语言模型。作为Polyglot-Ko系列模型中的一员，它在韩语自然语言处理领域展现出了卓越的性能。
模型架构
Polyglot-Ko-5.8B采用了先进的Transformer架构，具有以下主要特征：
- 参数量：58.85亿
- 层数：28层
- 模型维度：4096
- 前馈网络维度：16,384
- 注意力头数：16
- 每个头的维度：256
- 上下文窗口大小：2048
- 词表大小：30,003 / 30,080
- 位置编码：旋转位置嵌入(RoPE)
该模型在每个注意力头的64个维度上应用了旋转位置嵌入，这有助于捕捉序列中的位置信息。
训练数据
Polyglot-Ko-5.8B的训练数据总量达到了863GB（处理前为1.2TB）。这些数据由TUNiB公司精心策划，涵盖了多个领域：
- 韩语博客文章（682.3GB）
- 韩语新闻数据集（87.0GB）
- Modu语料库（26.4GB）
- 韩语专利数据集（19.0GB）
- 韩语问答数据集（18.1GB）
- 其他多个小型数据集
为保护隐私，研究人员在预处理阶段对敏感信息进行了屏蔽，包括银行账号、居民登记号和电话号码。
训练过程
模型训练使用了GPT-NeoX框架，在256块A100 GPU上进行。训练过程中，模型共处理了1720亿个标记，历时320,000步。训练目标是最大化预测下一个标记的似然概率。
评估结果
Polyglot-Ko-5.8B在KOBEST基准测试中表现出色，该基准包含5个下游任务。与同类模型相比，如skt/ko-gpt-trinity-1.2B-v0.5、kakaobrain/kogpt和facebook/xglm-7.5B，Polyglot-Ko-5.8B在多个任务上都取得了优异成绩。
在COPA、HellaSwag、BoolQ和SentiNeg等任务中，Polyglot-Ko-5.8B在不同的少样本设置下均展现出了强大的性能。特别是在SentiNeg任务中，模型在50-shot设置下达到了95.21%的F1分数，显示出其出色的情感分析能力。
使用方法
研究人员和开发者可以轻松地使用Hugging Face的Transformers库加载和使用Polyglot-Ko-5.8B模型：
from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("EleutherAI/polyglot-ko-5.8b")
model = AutoModelForCausalLM.from_pretrained("EleutherAI/polyglot-ko-5.8b")
局限性和偏见
尽管Polyglot-Ko-5.8B表现优秀，但用户应该注意到它可能存在一些局限性。模型可能会产生不准确或带有偏见的内容，因此在实际应用中建议配合人工审核或过滤机制使用。
总结
Polyglot-Ko-5.8B代表了韩语自然语言处理的一个重要里程碑。它不仅在多个基准测试中展现出卓越性能，还为研究人员和开发者提供了一个强大的工具，有望推动韩语NLP领域的进一步发展。然而，使用者也应当充分认识到大规模语言模型的潜在局限性，确保负责任地应用这一技术。
