Github
Huggingface项目介绍：kobart-base-v2
模型概述
Kobart-base-v2 是一个基于 BART（Bidirectional and Auto-Regressive Transformers）的语言模型。BART 本身是一种将输入文本进行噪音添加然后再恢复成原始文本的自编码器。KoBART 使用了与 BART 论文中相同的“文本填充”噪音函数，并在超过 40GB 的韩语文本上进行训练，形成了一种韩语编码器-解码器语言模型。
模型开发与共享
- 开发者信息：需要更多信息
- 共享者：Heewon (Haven) Jeon
- 模型类型：特征提取
- 适用语言：韩语
- 许可协议：MIT
- 上游模型：BART
使用方式
直接使用
该模型可用于特征提取任务。
下游应用
需要更多信息。
风险与限制
现有研究表明，语言模型在偏见和公平性上存在问题（参见 Sheng et al. 2021 和 Bender et al. 2021）。模型生成的预测可能涉及令人不安和有害的刻板印象，尤其是关于受保护的类别、身份特征以及敏感的社会和职业群体。
训练细节
训练数据
该模型使用了多种韩语数据集进行训练，包括韩语维基百科、新闻、书籍、各类语料库以及青瓦台国民请愿等，语料总量为 5百万个维基句子和 2.7亿其他语料。
训练过程
使用了 tokenizers 包中的 Character BPE tokenizer 进行训练，词汇大小为 30,000，并加入了常用的表情符号来提升识别能力，例如 😀、😁、😆 等等。
模型规格
| 模型 | 参数量 | 类型 | 层数 | 头数 | FFN维度 | 隐藏层维度 |
|---|---|---|---|---|---|---|
KoBART-base | 124M | 编码器 | 6 | 16 | 3072 | 768 |
| 解码器 | 6 | 16 | 3072 | 768 |
评估与结果
对于 NSMC 数据集，kobart-base-v2 获得了 90.24% 的准确率。此外，在 KorSTS 和 Question Pair 数据集上也取得了较好的效果，分别得到了 81.66 的 spearman 值和 94.34 的准确率。
环境影响
可使用 Machine Learning Impact calculator 估算碳排放，但需要更多具体信息。
联系方式
关于 KoBART 的问题可以在 GitHub issues 页面 提出。
快速开始
以下是使用该模型的简单代码：
from transformers import PreTrainedTokenizerFast, BartModel
tokenizer = PreTrainedTokenizerFast.from_pretrained('gogamza/kobart-base-v2')
model = BartModel.from_pretrained('gogamza/kobart-base-v2')
