MAP-NEO
MAP-NEO是一个完全开源的大语言模型,其预训练数据、处理流程、脚本和代码均可获取。该模型在4.5T英中文数据上训练,性能与LLaMA2 7B相当。在推理、数学和编码等任务中,MAP-NEO表现优异。项目公开了训练全过程,包括检查点、分词器、语料库和优化代码,为大语言模型研究提供了宝贵资源。