#GPT训练

nanoGPT是一个针对中型GPT模型的训练框架，重写自minGPT项目并注重性能优化。其核心由约300行代码组成，包括训练循环和模型定义，能够轻松复现GPT-2（124M）。该框架支持从零开始训练新模型或微调预训练检查点，并提供了详细的入门指南，涵盖了从Shakespeare作品上的字符级模型训练到在OpenWebText数据集上复现GPT-2结果的完整流程。