#LLama 3.1

llama3.java

该项目使用单个Java文件实现Llama 3和3.1模型推理，源于llama2.java和llama2.c，具有教育价值并专注JVM编译器的优化测试，尤其是Graal编译器。项目无依赖，支持GGUF格式解析、Llama 3标记器及多种量化模型。提供--chat与--instruct的CLI模式，推荐使用OpenJDK 21+以充分利用Java Vector API提升性能。