#1比特量化

本项目复现了BitNet b1.58的1比特量化语言模型，采用RedPajama数据集进行了1000亿token的训练。通过实施论文中提出的训练策略，项目成功重现了700M、1.3B和3B规模模型的性能。评估结果显示，在困惑度（PPL）和多项零样本任务中，复现模型与原论文报告的数据高度一致，证实了该方法在模型压缩和维持性能方面的有效性。项目还提供了详细的评估流程和命令，方便研究者进行复现和进一步探索。通过比较不同规模模型在各项任务上的表现，该研究为大规模语言模型的高效压缩和部署提供了valuable的实践参考。