Github
文档Linguflex 项目简介
项目背景
Linguflex 是一个受科幻文学启发的项目，旨在实现如同《钢铁侠》电影中的 Jarvis 那样智能的AI助手。该项目的目标是通过模拟与AI角色的互动，提供一种引人入胜且真实的人机交流体验。
功能特色
Linguflex 提供了基于语音的交流以及多种实用功能，包括：
- 控制智能家居设备
- 播放音乐
- 互联网搜索
- 接收电子邮件
- 提供实时天气和新闻信息
- 安排和管理日程
- 搜索或生成图像
该平台欢迎用户和开发者的参与，用户可以体验创新的AI交互，而开发者能够通过贡献意见和建议，帮助项目达到更高的潜力。
安装挑战
Linguflex 的安装涉及复杂的技术整合，包括实时本地神经TTS语音生成与多个功能模块的组合，这使得提供一个简单的Docker容器来完成安装变得困难。此外，由于Python的依赖管理特性，环境不稳定的问题时有发生，这一情况可能要求重新安装库或调整依赖关系。
Linguflex团队不断努力寻找更为简便的安装解决方案，并呼吁用户在安装过程中多加耐心。
主要功能
- 本地操作：所有功能均在本地最大程度上保护隐私和可靠性。
- 超低延迟：各方面都经过优化，提供快速的语言模型交互和语音合成。
- 高质量音频：通过语音克隆技术结合微调的XTTS和RVC后处理AI模型，实现近乎专业实验室级别的本地TTS合成。
- 功能增强：通过预解析用户输入关键词，简化功能选择，减轻语言模型负担，实现快速响应。
- 开发者友好：提供简约清晰的开发框架，便于新模块的构建。
模块介绍
核心模块
- Listen（音频输入模块）：精准捕捉用户通过麦克风输入的语音指令。
- Brain：作为Linguflex的大脑，处理用户输入，可选用本地语言模型或OpenAI的GPT API。
- Speech（音频输出模块）：提供实时TTS，支持多种提供商和高级语音调整功能。
当前扩展模块
- Mimic：设计自定义AI角色，配合Speech模块为其赋予独特声音。
- Music：通过语音指令播放音乐。
- Mail：通过IMAP协议获取电子邮件。
- Weather：提供当前天气信息和预报。
- House：控制兼容的智能家居设备。
- Calendar：管理个人日历和约会。
- Search：使用Google搜索API进行文本和图像搜索。
- Server：提供Web服务器功能，以连接智能手机等外部设备。
即将上线模块
- See：通过GPT视图API赋予助理视觉能力。
- Memory：存储和检索JSON格式的数据。
- News：提供当前新闻的简短摘要。
- Finance：集成多种金融API进行实时投资监控。
- Create：使用DALL-E API生成图像。
入门指南
用户可以通过查看模块指南获取关于如何设置和配置Linguflex模块的详细说明。
许可协议
Linguflex的代码库以MIT许可协议发布，内置的TTS模型根据各自的引擎许可协议进行管理。以下是一些常用引擎的许可详情：
- CoquiEngine：开放源码，仅限非商业项目。商业使用需付费。
- ElevenlabsEngine：开放源码，仅限非商业项目。商业使用适用于所有付费计划。
- AzureEngine：开放源码，仅限非商业项目。从标准层起适用于商业使用。
- SystemEngine：Mozilla公共许可2.0和GNU LGPL v3.0，允许商业使用。
- OpenAIEngine：请阅读OpenAI使用条款。
Linguflex项目旨在通过广泛参与和持续创新，为用户和开发者提供下一代AI交互体验。
