#推理库

llama-node是一个支持多种大语言模型推理的Node.js库，兼容LLaMA、RWKV等模型。它基于llm、llama.cpp、rwkv.cpp，使用napi-rs实现消息传递。支持模型包括Alpaca、GPT4All等，适用于多平台如macOS、Linux和Windows。项目处于早期阶段，API可能会更新。