#低资源语言
nllb-200-distilled-600M - NLLB-200:支持200种语言互译的开源机器翻译模型
机器翻译Huggingface模型GithubFlores-200NLLB-200多语言开源项目低资源语言
NLLB-200-distilled-600M是一个开源机器翻译模型,支持200种语言之间的互译,特别关注低资源语言。该模型采用先进算法和大规模数据集训练,在BLEU等指标上表现优异。主要用于研究目的,适用于通用领域文本,最大输入长度为512个token。需注意,该模型不适合生产环境,存在潜在的误译风险,使用时应考虑相关伦理因素。
xlm-roberta-longformer-base-4096 - 支持超长序列处理的多语言Transformer模型
开源项目WikiText-103低资源语言问答任务模型HuggingfaceXLM-R Longformer长序列处理Github
该项目结合XLM-R与Longformer模型,提升了对多达4096个标记的处理能力,以提高低资源语言的处理效果。模型在WikiText-103语料库上进行预训练,适用于多语言问答任务。推荐使用NVIDIA Apex和大容量GPU以确保模型性能和效率。项目由Peltarion完成,提供相关代码和训练脚本供开发者参考。
nllb-200-distilled-1.3B - NLLB-200蒸馏模型实现200种语言间高效翻译
NLLB-200模型多语言机器翻译低资源语言Github研究模型Huggingface开源项目
nllb-200-distilled-1.3B是一个蒸馏自NLLB-200的1.3B参数多语言翻译模型,支持200种语言间的翻译。该模型专注于低资源语言的机器翻译研究,在Flores-200数据集上经过BLEU、spBLEU和chrF++等指标评估。它主要用于单句翻译,不适合特定领域文本或长文档。研究人员可通过Fairseq代码库获取使用指南和训练代码。模型仅供研究使用,不适合生产环境部署。
nllb-200-3.3B - Facebook Research开发的200语言互译机器翻译模型
机器翻译Github人工智能研究开源项目NLLB-200低资源语言Huggingface多语言模型模型
nllb-200-3.3B是Facebook Research开发的多语言机器翻译模型,支持200种语言互译。该模型专注于低资源语言翻译研究,采用先进算法和数据平衡策略,在BLEU等指标表现优异。使用Flores-200数据集评估,基于CC-BY-NC许可开源。主要面向翻译研究群体,适用单句翻译,最大输入长度512个tokens。模型在通用领域文本上训练,不适用于特定专业领域或长文档翻译。