这是什么?
aiwaifu是一个受neuro-sama启发的开源、可微调、可定制、可追的AI老婆
目标是为每个人提供一个开发自己老婆的基础平台
由开源AI模型驱动,可自主托管/部署
想了解我们的老婆长什么样 看看这个视频!
开源、可交谈、可调情、可直播、可修改!可微调!甚至可以色色的!AI老婆!!!你还想要什么?嗯?
- 灵感来自neuro-sama 你唯一的老婆(如果你有自己的数据集或自定义个性)
最低配置要求
仅使用CPU
- 12 GB或更多内存
- 在i7 7700k上测试的可接受运行时间(1.00-2.30分钟),更快的CPU可能会更好
使用GPU进行推理
- 最低需要8GB显存
- 至少需要7.2 GB显存
- 仅支持Nvidia显卡
- 在k80上运行非常快(经测试),更快或同等性能的GPU也会相当快
安装
- 确保已安装Python 3.8.X版本,并有超过10GB的存储空间和稳定的网络连接(用于下载模型权重)
- 确保已安装C/C++构建工具和Cmake(如果没有,请参考此问题)
- 确保已安装GIT LFS以处理git中的大文件下载
- 克隆仓库并安装包
git clone https://github.com/HRNPH/AIwaifu.git
cd ./AIwaifu
1. 安装依赖
(推荐) 使用Poetry
- 安装Poetry
- 安装依赖(假设你在'AIwaifu'仓库的根目录)
poetry install
poetry shell # 激活虚拟环境(每次使用这个项目时都需要执行此命令)
(不推荐) 使用Python 3.8.X环境
# 可能包含一些冗余包(因为我还没有清理requirements文件)
# 所以我建议在虚拟环境中安装
# ---- 可选 -----
python -m venv venv
./venv/script/activate # Windows系统
# source ./venv/bin/activate # Linux系统
# --------------------
# 你需要卸载websocket模块并安装websocket-client(已包含在requirements中,以确保正常工作)
pip uninstall websocket
pip install -r ./requirements.txt
2. 编译monotonic_align模块
# 你需要安装monotonic_align模块以使sovits正常工作
cd AIVoifu/voice_conversion/Sovits/monotonic_align
python setup.py build_ext --inplace && cd ../../../../
- 下载并启动Vtube-Studio(直接从Steam下载)
- 安装VTS桌面音频插件,由Lua Lucky提供。考虑订阅她的频道!她是一位可爱的Vtuber兼开发者。然后打开插件并连接到Vtube Studio
- 按照lua-lucky的视频,在应用设置中打开插件API,端口设为8001(或任何你想要的端口,但需要相应修改代码)
3. 客户端设置
- 启动服务器(在本地网络的家庭服务器或你的电脑上,最低建议12GB内存)
该软件被分为用于模型推理的http服务器(因为我需要使用家庭服务器,模型需要太多内存(RAM而非VRAM) > 12GB必需 >= 16GB推荐)
# 默认在localhost 8267上运行
python ./api_inference_server.py
- 启动客户端
# 这将连接到所有服务器(本地)
# 可以在外部服务器上托管API模型,但要注意安全问题
# 我计划制作一个Docker容器用于在云提供商上进行推理托管,但不会很快完成
python ./main.py
- 打开Vtuber Studio(VTS)并允许访问
快速笔记
- 当前使用的TTS模型是来自https://huggingface.co/docs/hub/spaces-config-reference的VITS预训练模型 (这可能会在之后更改为更多可定制选项)
- 我们使用的语言模型是Pygmalion1.3b
- TTS使用日语的原因是因为更可爱!!!!我们使用Facebook/nllb-600m模型将模型输出从英语翻译成日语
有时候东西可能会坏掉(尤其是在服务器上) 如果你发现了什么问题,随时可以提出issue或pull request!!!
行为准则
- 我们制作的一切都是开源的、免费的,并且可以从核心进行自定义
- 我们绝不会包含专有模型(ChatGPT等...),因为这与我们上述声明相冲突,而且它会审查不雅内容,所以不行,哈哈
Star历史
我如何提供帮助?
查看issue,随时提出问题或建议新功能,或者测试我们的模型极限! 在这里加入讨论并评论模型性能 https://github.com/HRNPH/AIwaifu/discussions/25
所有帮助都将不胜感激 :DD