react-llm
提供简单易用的无头 React Hooks,利用 WebGPU 在浏览器中运行大语言模型(LLM),确保数据不离开浏览器。支持 Vicuna 7B 模型,允许自定义提示词和角色名称,提供令牌限制等功能。支持数据持久化存储和模型缓存,提升加载速度和用户体验。
vicuna-installation-guide
本指南提供Vicuna模型的详细安装与配置步骤,适用于13B和7B版本。推荐Unix系统用户,需准备足够的CPU RAM和必要软件包。指南包含一键安装脚本、手动安装步骤及运行模型示例。