#去重数据集

Pythia Scaling Suite由多个大规模语言模型组成，旨在支持对模型可解释性的研究。其提供不同规模的模型版本，包括专为科研实验设计的1.4B去重模型，伴有154个训练检查点。虽不以下游应用为导向，但其性能在诸多方面可比拟甚至超越同类模型。适用于关注语言模型行为研究的科学工作者。