本地AI技术栈
让任何人都能运行一个简单的AI应用程序,实现文档问答功能,100%本地运行,无需刷信用卡💳。基于AI入门套件。
有问题?加入AI Stack开发者,在#local-ai-stack频道找我。
技术栈
- 🦙 推理:Ollama
- 💻 向量数据库:Supabase pgvector
- 🧠 LLM编排:Langchain.js
- 🖼️ 应用逻辑:Next.js
- 🧮 嵌入生成:Transformer.js和all-MiniLM-L6-v2
快速开始
1. Fork和克隆仓库
Fork仓库到你的Github账户,然后运行以下命令克隆仓库:
git clone git@github.com:[你的Github账户名]/local-ai-stack.git
2. 安装依赖
cd local-ai-stack
npm install
3. 安装Ollama
安装说明在这里
4. 本地运行Supabase
- 安装Supabase CLI
brew install supabase/tap/supabase
- 启动Supabase
确保你在/local-ai-stack
目录下,然后运行:
supabase start
5. 填写密钥
cp .env.local.example .env.local
然后运行以下命令获取SUPABASE_PRIVATE_KEY
supabase status
复制service_role key
并将其保存为.env.local
中的SUPABASE_PRIVATE_KEY
6. 生成嵌入
node src/scripts/indexBlogLocal.mjs
这个脚本会读取/blogs目录下的所有文件,使用transformers.js生成嵌入,并将嵌入和元数据存储在Supabase中。
7. 本地运行应用
现在你已经准备好在本地测试应用了!只需在项目根目录下运行npm run dev
,然后访问http://localhost:3000
。
8. 部署应用
如果你想将本地应用提升到下一个层次,可以按照AI入门套件的说明使用Clerk、Pinecone/Supabase、OpenAI、Replicate和其他基于云的供应商。