#数据稀缺

本项目研究在数据受限情况下扩展语言模型的方法。通过对9000亿训练令牌和90亿参数模型进行实验，提出并验证了重复令牌和多余参数的计算优化法则。实验涵盖数据增强、困惑度过滤及去重处理。相关模型和数据集公开在仓库，有助于在资源有限情况下高效训练和优化语言模型。