selfhostedAI简介
selfhostedAI是一个由开发者josStorer创建的开源项目,旨在提供一系列一键式自托管AI解决方案。该项目的API接口与OpenAI兼容,可以轻松与各种使用OpenAI的开源项目适配。
主要功能
selfhostedAI主要提供以下几类AI模型的自托管方案:
-
聊天模型
- RWKV
- ChatGLM 6B Int4
- llama.cpp
-
绘画模型
- stable-diffusion-webui
-
集成应用
- text-generation-webui
- Wenda
快速开始
-
前往release页面下载打包好的文件
-
使用
update.bat
进行更新(不包含模型) -
设置
ngrok_token
环境变量可将API暴露到公网 -
根据需要选择对应模型的启动文件运行,如
llama.bat
或chatglm.bat
-
访问
http://127.0.0.1:7860/
即可使用Web UI界面
使用示例
可以结合chatGPTBox项目,切换到自定义API模式快速体验。
注意事项
- 建议使用具有独立GPU的电脑以获得最佳性能
- 模型文件较大,请确保有足够的存储空间
- 首次启动需要下载模型,耗时可能较长
总结
selfhostedAI为自托管AI提供了简单易用的解决方案,让个人用户也能轻松部署强大的AI助手。随着项目的不断发展,相信会有更多有趣的应用场景被开发出来。欢迎Star该项目并关注后续更新!