AI-YinMei【AI吟美】

Github星标

【:smile:开发文档|:heartpulse:视频教程|:truck:1.8整合包教程|:sparkles:1.7整合包教程】

AI虚拟主播Vtuber研发（N卡版本）
AI名称：吟美
开发者：Winlone
B站频道：程序猿的退休生活
开源代码：https://github.com/worm128/AI-YinMei
AI吟美教程集合：https://www.bilibili.com/read/cv33640951/
Q群：27831318
版本：1.8.1
吟美整合包下载地址：
整合包教程：https://www.bilibili.com/video/BV1zD421H76q
百度网盘群号：930109408
提示：由于百度网盘分享经常被屏蔽，现已切换到百度网盘的群分享，请在"百度网盘->消息"中添加群号，加入群后可在文件列表中下载
功能整合包下载（4个）：人工智能 -> yinmei-all
吟美核心【版本迭代】：人工智能 -> 吟美核心
吟美开发文档：人工智能 -> 吟美开发文档
旧版吟美项目【因集成过多内置第三方项目，已废弃】：
https://github.com/worm128/AI-YinMei-backup

技术架构

吟美流程图1.8.0

支持技术

支持fastgpt知识库聊天对话
支持LLM大语言模型的一整套解决方案：[fastgpt] + [one-api] + [Xinference]
支持对接bilibili直播间弹幕回复和进入直播间欢迎语
支持微软edge-tts语音合成
支持Bert-VITS2语音合成
支持GPT-SoVITS语音合成
支持表情控制Vtuber Studio
支持绘画stable-diffusion-webui输出OBS直播间
支持绘画图片鉴黄public-NSFW-y-distinguish
支持搜索和搜图服务duckduckgo（需要魔法上网）
支持搜图服务baidu搜图（不需要魔法上网）
支持AI回复聊天框【html插件】
支持AI唱歌Auto-Convert-Music
支持歌单【html插件】
支持跳舞功能
支持表情视频播放
支持摸摸头动作
支持砸礼物动作
支持唱歌自动启动伴舞功能
聊天和唱歌自动循环摇摆动作
支持多场景切换、背景音乐切换、白天黑夜自动切换场景
支持开放性唱歌和绘画，让AI自动判断内容
支持流式聊天，提速LLM回复与语音合成
对接bilibili开放平台弹幕【稳定性高】
支持funasr阿里语音识别系统
增加点赞、送礼物、欢迎词等触发事件
AI吟美桌宠【关注B站"程序猿的退休生活"，回复181获取下载链接】

吟美直播间功能说明

1、聊天功能： 1.1 设定了名字、性格、语气和嘲讽能力的AI，能与粉丝互怼，还录入了老粉丝的信息记录，以便更好地识别老粉丝的行为进行互怼。 1.2 多重性格：吟美有善解人意的女仆和凶残怼人的大小姐性格，能根据不同场景自行判断切换。
2、唱歌功能： 2.1 输入"唱歌+歌曲名称"，吟美会学习并演唱该歌曲。你也可以输入类似"吟美给我推荐一首最好听的动漫歌曲"这样的开放性话题，让吟美智能选择歌曲演唱。 2.2 想切歌请输入"切歌"指令，会跳过当前歌曲，直接唱下一首。
3、绘画功能： 3.1 输入"画画+图画标题"，吟美会根据你的绘画提示词实时作画。 3.2 你也可以输入类似"吟美给我画一幅最丑的小龟蛋"这样的开放性话题，让吟美智能生成绘画提示词并作画。
4、跳舞功能： 4.1 输入"跳舞+舞蹈名称"，可选舞蹈如下：书记舞、科目三、女团舞、社会摇呱呱舞、马保国、二次元、涩涩蔡徐坤、江南style、Chipi、吟美直接输入"跳舞"两个字则随机跳舞 4.2 想停止跳舞请输入"停止跳舞"
5、表情功能：输入"表情+名称"，"表情+随机"为随机表情，表情需自行猜测，如"哭、笑、吐舌头"等。
6、场景切换功能： 6.1 输入"切换+场景名称"：粉色房间、神社、海岸花坊、花房、清晨房间 6.2 系统会根据时间智能判定并进行早晚场景切换
7、换装功能：输入"换装+衣服名称"：便衣、爱的翅膀、青春猫娘、眼镜猫娘
8、搜图功能：输入"搜图+关键字"
9、搜索资讯功能：输入"搜索+关键字"
智能辅助： 1、显示歌单列表 2、显示AI回复文字框 3、提示AI动作状态 4、智能识别唱歌和绘画 5、说话、唱歌时循环随机摇摆动作 6、随心情值增加或当前聊天关键字，智能判断是否输出日语 7、绘画提示词对接C站，丰富绘画内容 8、智能判断是否需要唱歌、画画 9、根据关键字进行场景切换 10、funasr语音识别客户端

应用模块

Ai-YinMei：AI吟美核心
stable-diffusion-webui：绘画模块
public-NSFW-y-distinguish：鉴黄模块
gpt-SoVITS：语音合成模块
Auto-Convert-Music：唱歌模块
fastgpt + one-api + Xinference：聊天模块
funasr-html-client：语音识别客户端

软件下载

整合包教程：https://www.bilibili.com/video/BV1zD421H76q 百度网盘群号：930109408 功能整合包下载(4个)：人工智能 -> yinmei-all 吟美核心【版本迭代】：人工智能 -> 吟美核心吟美开发文档：人工智能 -> 吟美开发文档

语音播放器mpv：用于语音播放和音乐播放在百度网盘->人工智能->软件->mpv.exe 注意：项目根目录需放置两个播放器，分别是：mpv.exe【播放语音】、song.exe【播放音乐】
虚拟声卡：用于虚拟人物口型输出音频在百度网盘->人工智能->软件->虚拟声卡 Virtual Audio Cable v4.10 破解版
ffmpeg：音频解码器，用于语音合成在百度网盘->人工智能->软件->ffmpeg
mongodb连接工具-NoSQLBooster for MongoDB 人工智能->软件->nosqlbooster4mongo-8.1.7.exe
fastgpt的docker-compose配置人工智能->软件->docker知识库

运行环境

Python 3.11.6

启动方式

注意：更详细的启动方法，请参考 :fire:整合包说明文档 :truck:1.8整合包教程

1、吟美核心(必选)

下载整合包双击执行start.bat 整合包说明文档

2、聊天服务（可选）

2-1、【fastgpt】+【one-api】+【Xinference】（推荐）

fastgpt：https://github.com/labring/FastGPT
one-api：https://github.com/songquanpeng/one-api
Xinference：https://github.com/xorbitsai/inference
启动：使用Windows WSL的docker启动，启动流程参见教程文档第23点
教程视频：https://www.bilibili.com/video/BV1SH4y1J7Wy/

2-2、text-generation-webui

项目GitHub：https://github.com/oobabooga/text-generation-webui

#进入虚拟环境
& 盘符:py虚拟空间路径/Scripts/Activate.ps1
#安装py包
pip install -r requirements.txt
#启动text-generation-webui程序，start.bat是我自定义的Windows启动脚本
./start.bat

Windows的bat启动命令：

python server.py --trust-remote-code --listen-host 0.0.0.0 --listen-port 7866 --listen --api --api-port 5000 --model chatglm2-6b --load-in-8bit --bf16

API访问：http://127.0.0.1:5000/

3、语音合成（必选）

3-1、Bert-VITS2

项目地址：https://github.com/fishaudio/Bert-VITS2
启动：使用Bert-VITS2-clap-novq-ui中的start.bat启动
定制页面：hiyoriUI.py包含中英日混合语音合成方法，需放入对应项目，不一定兼容
效果：AI与用户的语音互动，包括：聊天、绘画提示、唱歌提示、跳舞提示等

3-2、gtp-sovits（推荐）

项目地址：https://github.com/fishaudio/Bert-VITS2
效果：AI与用户的语音互动，包括：聊天、绘画提示、唱歌提示、跳舞提示等

百度网盘群号：930109408
提示：因百度网盘分享经常被屏蔽，现已切换至百度网盘群分享。请在"百度网盘->消息"中添加群号，加入群后可在文件列表中下载
双击执行start.bat

整合包说明文档

3-3、edge-tts（吟美自带）

edge无需另外安装语音合成服务

4、绘画服务（可选）

stable-diffusion-webui项目
项目地址：https://github.com/AUTOMATIC1111/stable-diffusion-webui
效果：输入"画画 xxx"，触发AI使用stable-diffusion进行绘图

百度网盘群号：930109408
提示：因百度网盘分享经常被屏蔽，现已切换至百度网盘群分享。请在"百度网盘->消息"中添加群号，加入群后可在文件列表中下载
双击执行start.bat

整合包说明文档

5、鉴黄服务（可选）

public-NSFW-y-distinguish项目
项目地址：https://github.com/fd-freedom/public-NSFW-y-distinguish

百度网盘群号：930109408<br>
提示：因百度网盘分享经常被屏蔽，现已切换至百度网盘群分享。请在"百度网盘->消息"中添加群号，加入群后可在文件列表中下载<br>
双击执行start.bat <br>

整合包说明文档

6、唱歌服务（可选）

Auto-Convert-Music项目
原创开发者：木白 Mu_Bai、宫园薰ヾ(≧∪≦*)ノ〃
项目地址：https://github.com/MuBai-He/Auto-Convert-Music
启动：使用Auto-Convert-Music中的start.bat启动
效果：输入"唱歌歌曲名称"，触发AI从歌库学习唱歌

7、皮肤（必选）

皮肤启动，安装steam，安装VTube Studio
请自行下载steam平台，平台内有VTube Studio软件，用于启动live2D虚拟主播皮肤

8、虚拟声卡驱动（必选）

8-1、安装虚拟声卡：虚拟声卡驱动（Virtual Audio Cable）4.66官方版

效果：AI主播的发声来源

百度网盘群号：930109408
加群下载软件

8-2、Voicemeeter虚拟声卡：

下载banana版本即可【注意：主板需安装声卡驱动，否则虚拟声卡通道可能失效】：

百度网盘群号：930109408
加群下载软件

9、AI回复框【HTML插件】（可选）

将项目文件：ai-yinmei\html\chatui.html放入OBS浏览器插件展示
效果：AI的回复内容会在回复插件中显示

10、歌单显示【HTML插件】（可选）

将项目文件：ai-yinmei\html\songlist.html放入OBS浏览器插件展示
效果：用户点歌的歌单会以列表形式显示：
'xxx用户'点播《歌曲名称》[正在播放]
'xxx用户2'点播《歌曲名称》

11、时间显示【HTML插件】（可选）

将项目文件 ai-yinmei\html\time.html 放入 OBS 浏览器插件显示
整合包说明文档

12、跳舞能力（可选）

跳舞视频存放地址【支持子文件夹存放】：dance_path = 'J:\ai\跳舞视频\横屏'
效果：输入"跳舞"，立即随机播放跳舞视频；输入"\停止跳舞"，可以立即停止跳舞

13、弹出视频表情（可选）

表情视频存放地址【支持子文件夹存放】：emote_path = 'H:\人工智能\ai\跳舞视频\表情'
效果：输入"表情随机"或具体表情名称，立即播放表情视频，"表情随机"为随机播放表情视频
表情视频名称显示【支持子文件夹存放】：emote_font = 'H:\人工智能\ai\跳舞视频\表情\表情符号'
效果：表情名称会显示在 OBS 的字体控件中，提示用户可以输入这些表情名称

14、funasr语音识别客户端（可选）

吟美定制 funasr 插件：./funasr/index.html
服务端：需要根据阿里 funasr进行配置，建议安装容器，参考服务器部署文档：

服务端启动：

docker run -p 10095:10095 --name funasr -it --privileged=true -v /j/ai/ai-code/funasr/models:/workspace/models registry.cn-hangzhou.aliyuncs.com/funasr_repo/funasr:funasr-runtime-sdk-online-cpu-0.1.9