项目介绍:MobileLLaMA-1.4B-Base
MobileLLaMA-1.4B-Base 是一个拥有14亿参数的Transformer模型。该模型通过缩小LLaMA的规模,旨在方便用户直接部署和使用。为了使项目的成果可以被复现,所有模型训练均采用来自RedPajama v1数据集的1.3万亿个标记。这种方法有助于开展更为系统的实验研究。
在项目开发过程中,MobileLLaMA-1.4B-Base模型经过了广泛的评估,涉及两大自然语言基准:语言理解和常识推理。实验结果表明,MobileLLaMA-1.4B的性能与最新的开源模型表现相当。
模型资源
如何开始使用模型
用户可以通过Hugging Face Transformers来载入模型的权重。具体示例可以在GitHub上找到。
训练细节
详细的训练过程可以参考项目论文的第4.1节:MobileVLM: A Fast, Strong and Open Vision Language Assistant for Mobile Devices。