react-llm
提供简单易用的无头 React Hooks,利用 WebGPU 在浏览器中运行大语言模型(LLM),确保数据不离开浏览器。支持 Vicuna 7B 模型,允许自定义提示词和角色名称,提供令牌限制等功能。支持数据持久化存储和模型缓存,提升加载速度和用户体验。