#mamba-2.8b-zephyr

mamba-2.8b-zephyr是对xiuyul/mamba-2.8b-ultrachat的增强版，在HuggingFaceH4/ultrafeedback_binarized数据集上通过Direct Preference Optimization方法进行训练。它在性能评价中表现优异，奖励准确率为0.7857，奖励边际值为1.1582。在多GPU分布式环境中，通过Adam优化器和线性学习率调度进行训练，提高了模型的稳定性和预测精准度，具备广泛的应用潜力。