llama.go
llama.go是一个基于Golang的LLM推理项目,旨在通过纯Golang编写的张量数学与多线程优化,实现高效的LLaMA模型推理,替代C++实现。支持LLaMA V1和V2模型架构,兼容Mac、Linux和Windows,涵盖INT8量化、AVX2加速等高级功能。未来计划扩展支持Nvidia GPU、AVX512和INT4量化,并提供内置REST API,适用于真实项目中的服务器模式。