qwen.cpp
qwen.cpp是Qwen-LM的开源C++实现,基于ggml开发,支持实时对话、纯C++ tiktoken和流式生成。项目兼容x86/arm CPU、NVIDIA GPU,适用于Linux和MacOS平台。提供模型量化、Python绑定等功能,可在本地设备运行高性能Qwen对话模型。