#RoPE位置编码

Polyglot-Ko-3.8B是一个由EleutherAI开发的韩国大型自回归语言模型，具有3.8B参数和32个Transformer层，采用Rotary位置编码。模型在超过863GB的韩语数据集上训练，但不对公众开放，并在训练中屏蔽了个人信息，以防止生成个人识别数据。Polyglot-Ko-3.8B在COPA和HellaSwag任务中表现优异。此模型可在GPT-NeoX框架中使用，适合多种语言处理任务，但建议在使用时对潜在敏感内容进行人类审核。