访问官网
Githublocal-talking-llm 项目介绍
项目背景
local-talking-llm 项目旨在创建一种可在本地运行的语音助手，灵感来自电影《钢铁侠》中的智能助手Jarvis和Friday。这不仅是一个能进行对话的大型语言模型，还能添加听取和发声的能力，类似一个全功能的语音助手。该项目用Python实现，简化设计以便初学者入门，并提供应用扩展的指南。
技术栈
项目首先需要建立一个虚拟的Python环境，可以选择使用pyenv、virtualenv或poetry等工具。以下是关键库：
- rich：提供美观的控制台输出。
- openai-whisper：用于将语音转换为文本的强大工具。
- suno-bark：用于文本到语音合成的库，确保高质量的音频输出。
- langchain：用于连接大型语言模型的简单库。
- sounddevice、pyaudio 和 speechrecognition：用于音频记录和播放。
大型语言模型的后端选用的是Ollama工具，可以离线运行和服务大型语言模型。
应用架构
应用大致由三个主要组件组成：
- 语音识别：使用 OpenAI 的 Whisper 将口语转换为文本。
- 对话链：使用 Langchain 的接口与 Llama-2 模型交互，由 Ollama 提供服务。
- 语音合成器：通过 Suno AI 的 Bark 将文本转换为语音。
总体流程是：录制语音，转换成文本，使用大型语言模型生成响应，然后用 Bark 播放响应。
实现步骤
- 语音合成服务：项目实现了一个基于Bark的语音合成服务，能从文本生成语音，包括长文本的处理。
- Ollama服务器：用于大型语言模型服务，可以下载最新的Llama-2模型，并启动服务进行响应生成。
- 应用主要逻辑：初始化 Rich控制台、Whisper语音识别、Bark文本语音合成实例，以及使用 Langchain 的内置对话链进行对话管理。
关键功能
实现的主要功能包括：
record_audio：在独立线程中录制用户音频。transcribe：将录制的音频数据转录为文本。get_llm_response：获取文本输入后，通过语言模型生成响应。play_audio：播放生成的语音响应。
项目成果与改进建议
项目实现了一些核心功能：
- 语音交互：用户可以通过语音与助手进行交互，助手会播放音频作为响应。
- 对话上下文：助手能保持对话的上下文，使得响应更加连贯。
欲进一步提升，此项目建议的改进包括：
- 性能优化：使用优化后的模型版本以提升性能。
- 定制化：允许用户定制机器人的角色和提示，创建多种类型的助手。
- 用户界面：开发图形用户界面，提高用户的体验。
- 多模态支持：支持多模态交互，如生成和显示图像、图表等。
通过整合语音识别、语言建模和文本语音合成技术，项目成功设计了一个相对复杂但可以在本地运行的语音助手。这个项目展示了如何利用AI技术来实现令人兴奋的应用。
