Github
Huggingface
论文项目概述
opus-mt-tc-big-sh-en是一个专门用于塞尔维亚-克罗地亚语(sh)到英语(en)的神经机器翻译模型。该项目是OPUS-MT项目的重要组成部分，旨在为全球众多语言提供广泛可用和易于访问的神经机器翻译模型。
技术特点
这个模型具有以下主要特征：
- 采用Marian NMT框架训练，该框架是一个用纯C++编写的高效神经机器翻译实现
- 使用transformers库将模型转换为PyTorch格式
- 训练数据来自OPUS数据集
- 采用OPUS-MT-train的程序进行训练流程
- 使用SentencePiece进行分词处理，词表大小为32k
性能表现
该模型在多个测试集上展现出优秀的翻译性能：
- 在flores101-devtest测试集上，克罗地亚语到英语的BLEU分数达到37.1
- 在tatoeba测试集上取得了多项优异成绩：
- 波斯尼亚语到英语：BLEU分数66.5
- 克罗地亚语到英语：BLEU分数58.8
- 塞尔维亚语(西里尔文)到英语：BLEU分数44.7
- 塞尔维亚语(拉丁文)到英语：BLEU分数58.4
使用方法
模型使用非常简单，支持两种调用方式：
- 通过MarianMT模型直接调用
- 通过transformers pipeline调用
用户只需要几行代码就能实现文本翻译，支持批量翻译和单句翻译。模型可以准确理解塞尔维亚-克罗地亚语的语言特点，输出流畅的英语译文。
支持与致谢
该项目得到了多方面的支持：
- 欧洲语言网格的资助
- FoTran项目的支持
- MeMAD项目的赞助
- CSC - IT科学中心提供的计算资源和IT基础设施
项目的持续更新和维护确保了模型的实用性和可靠性，为跨语言交流提供了重要工具。
