#越南语
symato
该项目使用独特的音节、标记和声调分割方法,开发了高效的越南语语言模型。通过创新的token化技术和RWKV架构,解决了传统Transformer模型在处理越南语多字节编码时的性能瓶颈。项目包括小数据集实验、大规模数据处理及大型模型训练,展示了在有限计算资源下应用规模规律的潜力。模型具有广泛适应性,既节省计算资源,又保持高效的文本生成和语言理解能力。
vixtts-demo
viXTTS是一个开源的文本转语音工具,基于XTTS-v2.0.3模型,主要针对越南语进行优化。该工具使用viVoice数据集微调,支持高质量声音克隆。用户可通过Hugging Face在线体验或在本地Ubuntu/WSL2系统运行。虽然重点优化越南语,但也支持其他语言尝试。项目提供详细的安装和使用说明,便于研究者和开发者使用。
vietTTS
vietTTS是一个开源的越南语文本转语音系统,集成了持续时间模型、声学模型和HiFiGAN声码器。项目提供预训练模型、数据处理工具、训练脚本和合成接口,便于研究和开发。包含详细文档,涵盖安装、数据准备和模型训练,对越南语语音合成技术发展具有参考价值。项目提供在线演示和音频样例,直观展示效果。目前项目已停止更新,新版本已迁移至LightSpeed项目,其中包含新的男声模型。
PhoBERT
PhoBERT是首个针对越南语的大规模预训练语言模型,基于RoBERTa架构开发。该模型在多项越南自然语言处理任务中展现出卓越性能,包括词性标注、依存句法分析、命名实体识别和自然语言推理。PhoBERT提供base和large两种版本,可通过transformers和fairseq库轻松集成使用,为越南语自然语言处理研究和应用开辟了新的可能。
vinai-translate-vi2en-v2
VinAI Translate是一个实现越南语和英语互译的神经机器翻译系统,以其创新架构和优异的实验结果,受到业界关注。研究人员可通过项目主页获取更多信息,并在使用时引用相关论文。
wav2vec2-base-vietnamese-250h
项目应用wav2vec2技术实现越南语的自动语音识别。模型在13000小时的未标注YouTube音频上预训练,并在250小时的VLSP ASR数据集上进行微调,支持16kHz采样音频。结合4-grams语言模型,显著提高了语音识别的准确性,降低了VIVOS数据集的词错误率,从10.77降至6.15。项目使用CC BY-NC 4.0授权,适用于非商业用途。
PhoGPT-4B-Chat
PhoGPT-4B-Chat是面向越南语的生成模型,通过在70K教学指令和290K对话上进行微调,展现出色表现。其基于3.7B参数的结构,利用102B代币的越南语语料库从头开始进行预训练,使其在开源领域中脱颖而出。
ner-vietnamese-electra-base
该越南语命名实体识别模型利用ELECTRA预训练架构,并在VLSP 2018数据集上进行了微调。模型在评估集上展现出优秀性能,F1分数达92.14%。它能够有效识别越南语文本中的位置、组织和人名等实体类型。模型通过Transformers库提供,便于集成到各类越南语自然语言处理应用中。
vietnamese-sbert
基于sentence-transformers框架开发的越南语NLP模型,通过RoBERTa架构将文本映射至768维向量空间。支持句子相似度计算、语义搜索及文本聚类功能,可通过sentence-transformers和HuggingFace进行快速部署。该模型经过专门优化,为越南语自然语言处理任务提供精确的语义表示。