llama3.np
llama3.np
是Llama 3模型的纯NumPy实现。为了确保实现的准确性,我运行了由Andrej Karpathy训练的stories15M模型。
- 如需详细的英文解释,请参阅用纯NumPy实现的Llama 3。
- 如果你对CUDA实现感兴趣,请查看用纯C/CUDA实现的Llama 3。
使用方法
$ python llama3.py "I have a dream"
"""
我有一个梦想。他梦想有一个大而美丽的花园,里面满是花朵和树木。他梦想和朋友一起玩耍,吃着美味的零食。
有一天,他在花园里散步时看到
词元数:50,耗时:1.53秒,33词元/秒
"""
引用llama3.np
如果你在学术研究中使用或讨论llama3.np
,请引用本项目以帮助传播:
@misc{llama3.np,
title = {llama3.np:Llama 3模型的纯NumPy实现},
author = {Sang Park},
howpublished = {\url{https://github.com/likejazz/llama3.np}},
note = {llama3.np,MIT许可证}
year = {2024},
}
参考资料
感谢以下库和工具的创建者及其贡献者:
- llama2.c - @karpathy
- llama.np - @hscspring
- modeling_llama.py - Hugging Face的Transformers
我从以下文章中获得了大量信息:
- 42dot LLM 1.3B - 42dot
- 探索和构建LLaMA 3架构:深入研究组件、编码和推理技术 - @vi.ai_
- 旋转嵌入:相对革命 - EleutherAI
- 掌握LLM技术:推理优化 - NVIDIA
标题图片由DALL-E生成
许可证
MIT