项目介绍:MITSUHA
MITSUHA 项目是一个虚拟助手平台,旨在通过先进的语音识别和人工智能技术为用户提供即时互动体验。这个项目让用户可以通过麦克风与虚拟角色进行实时交流,且能够做出智能反应。
项目背景
MITSUHA 是一个能够和用户进行自然语言互动的虚拟助手。它不仅可以通过麦克风接受用户的语音指令,还能通过文本转语音技术回应用户。项目的主要特色包括:
- 支持用户通过麦克风与助手对话。
- 助手能够用多种语言进行回应,包括英语、日语、韩语和中文。
- 拥有短期和长期的记忆功能,可根据上下文对话。
- 能够启动应用程序。
- 可以控制智能家居设备,如果设置了Tuya平台,功能类似于Alexa。
项目特点
- 自然语言处理:利用 Python 中的 SpeechRecognition 库识别用户语音,将其转录为文本输入,从而实现对话的流畅性。
- 多语言支持:目前支持多种亚洲语言,并计划扩展支持更多语言如西班牙语和印度尼西亚语。
- 智能家居集成:使用 Tuya 云物联网平台,用户可以使用语音指令控制家中的智能设备。
- 开源技术支持:项目由多种开源工具构建,包括 Python、Llama-cpp-python 和 OpenAI 的 Whisper 等。
- 虚拟和增强现实结合:计划扩展虚拟现实和增强现实的集成功能,以提升用户体验。
使用方法
前提条件
- 需要安装 Python 3.10.11 或以上版本。
- 安装 GIT 和 CUDA(如果有Nvidia GPU)。
- 下载并安装 Visual Studio Community 2022 和 VTube Studio。
- 配置音频驱动程序(如VB Cable Audio Driver),以便正确的音频输出和输入。
自动安装指南
- 使用
git clone --recurse-submodules https://github.com/DogeLord081/OneReality.git
命令克隆项目到本地。 - 运行
python setup.py
以设置环境。 - 修改
.env
文件中的必要变量。 - 通过运行
OneReality.bat
启动项目,并根据需要调整音频输出设置。
未来计划
项目的未来发展计划包括:
- 增加 AI 声音的更多语言支持。
- 实现移动版本应用。
- 提供一键式的安装包并使设置更加简单。
- 改进的 VTube Studio 唇同步功能,不再需要特定驱动支持。
许可证
MITSUHA 项目是根据 GNU 通用公共许可证 v3.0 发行的,用户可以自由查看 LICENSE.txt
以了解更多信息。
联系信息
- 邮箱:danu0518@gmail.com
- YouTube:点击访问
- Discord:加入Discord
- 项目链接:GitHub链接
致谢
项目灵感和技术支持部分来源于以下资源和贡献者:
通过这些技术和社区的支持,MITSUHA项目正在不断成长和完善,致力于为用户提供更为智能和直观的虚拟助手体验。