PhoGPT
PhoGPT是一个高性能的越南语生成预训练模型系列,包括基础模型PhoGPT-4B和聊天变体PhoGPT-4B-Chat。PhoGPT-4B在102B词汇上预训练,支持8192上下文长度和20K词汇类型。PhoGPT-4B-Chat经过微调,提升了对话和指令响应能力。PhoGPT在开源模型中表现优异,适合多种生成任务。
PhoGPT-4B-Chat
PhoGPT-4B-Chat是面向越南语的生成模型,通过在70K教学指令和290K对话上进行微调,展现出色表现。其基于3.7B参数的结构,利用102B代币的越南语语料库从头开始进行预训练,使其在开源领域中脱颖而出。