相关项目
llama
meta-llama/llama在GitHub提供先进的Llama模型推理代码，开发者可以参与贡献，助力项目发展。该平台允许下载各种预训练及微调的Llama大型语言模型，并提供完整的模型权重及实施代码，推动技术创新与企业发展。
llama
Optimum Habana是一个为Habana Gaudi处理器(HPU)优化的深度学习训练框架，支持Hugging Face Transformers和Diffusers库。该框架提供简单易用的工具，实现模型快速加载、单/多HPU训练和推理。它集成了Habana定制的AdamW实现和梯度裁剪等优化特性，支持PyTorch混合精度训练，为大规模语言模型提供高效的硬件加速训练方案。
TinyLlama-1.1B-intermediate-step-715k-1.5T
TinyLlama项目在90天内利用16台A100-40G GPU完成了1.1B参数模型的预训练，涉及3万亿个令牌。该模型因其紧凑和模块化设计，适用于资源有限的多种应用场合。最新的中间检查点提供了715K步和1.49T令牌的参数，评估基准上表现均有提升。详情请访问TinyLlama GitHub页面。