NanoLLM 为LLM优化的本地推理,具有类似HuggingFace的API,用于量化、视觉/语言模型、多模态代理、语音、向量数据库和RAG。 [!注意] 请查看 dusty-nv.github.io/NanoLLM 获取文档,以及 Jetson AI Lab 获取教程。 最新版本:24.7(dustynv/nano_llm:24.7-r36.2.0)