访问官网
Github
Huggingface
论文项目概述
mdeberta-v3-base-kor-further 是一个基于 Microsoft mDeBERTa-v3-base 模型进一步预训练的韩语语言模型。该项目由 KPMG Lighthouse Korea 开发，旨在通过增强韩语处理能力来解决金融领域的各种问题。
技术特点
该模型基于 DeBERTa (Disentangled BERT) 架构，具有以下创新特点：
- 采用解耦注意力机制(Disentangled Attention)和增强型掩码解码器(Enhanced Mask Decoder)
- 相比传统 BERT 使用的绝对位置编码，该模型能更好地学习词语的相对位置信息
- 继承了 DeBERTa-v3 的改进，包括 ELECTRA 式的预训练方法和梯度解耦嵌入共享
预训练细节
模型在约 40GB 的韩语数据集上进行了进一步预训练：
- 训练数据包括公共语料库、韩语维基百科、国民请愿等内容
- 训练集包含 1000 万行文本，50 亿个标记
- 验证集包含 200 万行文本，10 亿个标记
- 采用 MLM (Masked Language Model) 任务进行训练
- 使用 512 的最大序列长度，2e-5 的学习率，批量大小为 8
模型性能
在多个韩语自然语言理解任务上的评测显示，该模型相比原始的 mDeBERTa-base 和 XLM-Roberta-Base 都取得了更好的表现：
- 情感分析(NSMC)准确率达到 90.52%
- 命名实体识别(NER) F1 分数达到 87.87%
- 问答任务(KorQuaD)的 EM/F1 分数达到 66.07/90.35
使用方法
模型可以通过 Hugging Face 转换器库轻松调用：
- 支持通过 AutoModel 和 AutoTokenizer 加载
- 需要安装 transformers 和 sentencepiece 库
- 模型大小为 534M，词表大小为 25 万
这个改进版本的 DeBERTa 模型为韩语自然语言处理任务提供了强大的基础支持，特别适合金融领域的应用场景。
