#可解释性研究
pythia - 大语言模型训练过程知识演化分析开源项目
Pythia大语言模型模型训练可解释性研究学习动态Github开源项目
Pythia是一个开源项目,旨在分析大语言模型训练过程中的知识演化。该项目提供完整的模型、数据和代码,包含154个训练检查点,支持研究人员深入探索学习动态和因果关系。Pythia是业界首个支持全面复现和学习动态分析的模型套件,为大语言模型的可解释性研究提供了重要工具。
pythia-160m-deduped - 基于Pile数据集训练的160M参数语言模型
大语言模型可解释性研究Github开源项目自然语言处理Huggingface模型训练Pythia模型
Pythia-160M-deduped是一个经过去重Pile数据集训练的语言模型,总参数量为1.62亿。模型提供154个训练检查点,性能可与同规模的OPT和GPT-Neo相媲美。该项目主要面向语言模型可解释性研究,采用Apache 2.0协议开源,适合学术研究使用。