#嵌入层
mlx-gpt2 - MLX框架实现GPT-2模型:从零开始的深度学习之旅
Github开源项目GPT-2MLX自注意力训练循环嵌入层
本项目展示了使用MLX框架从零实现GPT-2模型的完整过程。内容涵盖数据准备、词汇表创建和模型架构设计等核心步骤。该实现仅依赖MLX和NumPy库,可在MacBook上快速训练出能生成莎士比亚风格文本的模型。项目借鉴了Karpathy的GPT教程思路,并通过MLX框架重新实现,为深度学习爱好者提供了实践指南。
HybridBackend - 异构集群上的高性能推荐系统训练框架
Github开源项目深度学习框架推荐系统GPU优化嵌入层HybridBackend
HybridBackend是一个为异构集群设计的高性能推荐系统训练框架。它优化了分类数据加载、GPU嵌入层处理和大规模训练通信,提高了wide-and-deep模型的训练效率。该框架兼容现有AI工作流,提供多种安装选项和完善的文档。HybridBackend采用开源Apache 2.0许可证,支持社区贡献。