#代码复现

GPT-2

本项目是基于Andrej Karpathy代码的GPT-2开源实现。通过详细注释解释模型架构和训练过程，包含核心文件如模型结构、训练循环和数据预处理。计划添加KV-Cache、RoPE等功能。虽然Hellaswag测试性能略低，但为学习大型语言模型提供了重要资源。项目展示了模型训练过程中的各种考虑因素，如权重初始化、学习率调整等技术细节。

MEEE

MEEE是一个开源项目，提出了基于模型集成的探索与利用方法，旨在提高强化学习的样本效率。该项目基于MBPO代码库开发，实现了相关论文中的实验。MEEE提供了详细的安装说明、使用指南和日志记录方法，支持在MuJoCo环境中进行实验。通过创新的模型集成策略，MEEE平衡了探索和利用，有效提升了强化学习算法的性能和效率。