Github
Huggingface
论文PhoGPT-4B-Chat项目介绍
PhoGPT-4B-Chat项目是一个针对越南语开发的先进生成预训练模型系列。这一系列包括了基础预训练单语模型PhoGPT-4B及其会话变体PhoGPT-4B-Chat。项目旨在通过开源的方式，为越南语自然语言处理领域提供尖端的生成模型工具。
PhoGPT-4B基础模型
PhoGPT-4B是一个拥有3.7亿参数的基础预训练模型。它从零开始在一个包含1020亿个词元的越南语语料库上进行训练，使用的上下文长度为8192，词汇量为20480个词元类型。这个模型的训练使其能够有效地进行越南语生成任务，为后续应用打下坚实基础。
PhoGPT-4B-Chat会话变体
PhoGPT-4B-Chat是通过对PhoGPT-4B基础模型进行微调而得到的，其专注于处理会话和对话任务。微调时使用了7万个指令提示及其响应的数据集，以及额外29万条对话。这种调整使得PhoGPT-4B-Chat在处理越南语对话时，展示出较先前开源模型更为优越的表现。
项目成就与引用
根据技术报告的描述，PhoGPT系列模型在生成和对话任务上都展现了卓越的性能，拥有更多参数和更广泛语料库训练的模型成为了越南语处理领域的重要工具。所有使用PhoGPT模型产生结果的研究或软件开发，希望能够引用该技术报告，以便给予项目贡献者应有的学术认可。
如需获取更多信息或有任何合作请求，请访问PhoGPT的主页。
通过对这一模型的开源分享，PhoGPT-4B-Chat项目为越南语言处理提供了强大的技术支持，并希望借此在学术和商业应用中实现广泛影响。
