智能开发框架
GPT 电脑助手
你好,这是一个将 ChatGPT MacOS 应用带到 Windows 和 Linux 的替代工作方式。这样一来,这是一个全新和稳定的工作。你可以轻松地将其作为 Python 库进行安装,但我们将准备一个提供本地安装脚本(.exe)的管道。
由 Upsonic Tiger 🐅 提供支持,一个 LLM 代理的功能中心。
安装和运行
*需要 Python 3.9 或更高版本
pip install 'gpt-computer-assistant[base]'
pip install 'gpt-computer-assistant[api]'
要运行 gpt-computer-assistant,只需输入
computerassistant --api
本地文字转语音 | 新功能
现在 GCA 完全支持使用 Microsoft 开源模型的本地文字转语音功能。要启用和使用此功能,你应运行以下命令:
pip3 install 'gpt-computer-assistant[local_tts]'
之后,只需进入 LLM 设置部分,并在 tts 下拉列表中选择 microsoft_local
。
本地语音转文字 | 新功能
现在 GCA 完全支持使用 OpenAI Whisper tiny 模型的本地语音转文字功能。要启用和使用此功能,你应运行以下命令:
pip3 install 'gpt-computer-assistant[local_stt]'
安装 ffmpeg:
# 在 Ubuntu 或 Debian 上
sudo apt update && sudo apt install ffmpeg
# 在 Arch Linux 上
sudo pacman -S ffmpeg
# 在 MacOS 上使用 Homebrew (https://brew.sh/)
brew install ffmpeg
# 在 Windows 上使用 Chocolatey (https://chocolatey.org/)
choco install ffmpeg
# 在 Windows 上使用 Scoop (https://scoop.sh/)
scoop install ffmpeg
之后,只需进入 LLM 设置部分,并在 stt 下拉列表中选择 openai_whisper_local
。
唤醒词
我们已添加 Pvporcupine 集成。要使用它,你需要安装一个额外的库:
pip3 install 'gpt-computer-assistant[wakeword]'
错误解决方案
Setuptools
pip install setuptools --upgrade
之后,请输入你的 Pvporcupine API 密钥并启用唤醒词功能。
代理基础设施
通过这种方式,你可以创建 crewai
代理,并在 gpt-computer-assistant GUI 和工具中使用它。
pip3 install 'gpt-computer-assistant[base]'
pip3 install 'gpt-computer-assistant[agentic]'
from gpt_computer_assistant import Agent, start
manager = Agent(
role='项目经理',
goal='理解项目需求并协助编码员',
backstory="""你是一家大型公司的经理。""",
)
coder = Agent(
role='高级 Python 编码员',
goal='编写 Python 脚本并复制到剪贴板',
backstory="""你是一家大型公司的 Python 开发人员。""",
)
start()
添加自定义工具
现在你可以添加运行在代理基础设施和助手进程中的自定义工具。
from gpt_computer_assistant import Tool, start
@Tool
def sum_tool(first_number: int, second_number: int) -> str:
"""当你需要将两个数字相加时很有用。"""
return first_number + second_number
start()
API | 新功能
现在你可以远程使用你的 GPT 电脑助手! GUI 仍然有效,为此需要几个步骤:
pip3 install 'gpt-computer-assistant[base]'
pip3 install 'gpt-computer-assistant[api]'
computerassistant --api
from gpt_computer_assistant.remote import remote
output = remote.input("你好,今天怎么样?", screen=False, talk=False)
print(output)
remote.just_screenshot()
remote.talk("TTS 测试")
# 其他功能
remote.reset_memory()
remote.profile("default")
远程.enable_predefined_agents()
远程.disable_predefined_agents()
远程.enable_online_tools()
远程.disable_online_tools()
# 自定义工具
远程.install_library("numpy")
@远程.custom_tool
def hobbies():
"返回爱好"
import numpy
return "网球、排球和游泳。"
# 创建一个操作,它将通知用户顶部栏动画
with 远程.operation("扫描")
远程.wait(5)
color_name = 远程.ask("你喜欢什么颜色")
远程.set_background_color(255, 255, 255)
远程.set_opacity(200)
远程.set_border_radius(3)
远程.collapse()
远程.expand()
用法
使用案例
路线图
特性 | 状态 | 目标发布 |
---|---|---|
清除聊天记录 | 完成 | 2024年第二季度 |
长音频支持(分割20MB) | 完成 | 2024年第二季度 |
文本输入 | 完成 | 2024年第二季度 |
仅文本模式(静音语音) | 完成 | 2024年第二季度 |
添加档案(不同聊天) | 完成 | 2024年第二季度 |
更多关于助手状态的反馈 | 完成 | 2024年第二季度 |
本地模型视觉和文本(使用Ollama和视觉模型) | 完成 | 2024年第二季度 |
我们的定制代理基础设施 | 完成 | 2024年第二季度 |
支持Groq模型 | 完成 | 2024年第二季度 |
添加自定义工具 | 完成 | 2024年第二季度 |
点击屏幕上的某些内容(文本和图标) | 完成 | 2024年第二季度 |
新用户界面 | 完成 | 2024年第二季度 |
本地应用程序,exe,dmg | 失败(代理基础库目前不支持) | 2024年第二季度 |
在长回复中采用不同语音模型共同发言。 | 完成 | 2024年第二季度 |
完成说话时自动停止录音 | 完成 | 2024年第二季度 |
唤醒词 | 完成 | 2024年第二季度 |
连续对话 | 完成 | 2024年第二季度 |
增加设备上的更多功能 | 完成 | 2024年第二季度 |
本地TTS | 完成 | 2024年第三季度 |
本地STT | 完成 | 2024年第三季度 |
托盘菜单 | 完成 | 2024年第三季度 |
全局热键 | 即将到来 | 2024年第三季度 |
DeepFace集成(面部识别) | 计划 | 2024年第三季度 |
能力
目前我们有很多基础设施元素。我们的目标是提供ChatGPT应用中已经存在的所有功能。
功能 | 状态 |
---|---|
具有视觉功能的本地大型语言模型(Ollama) | 好 |
本地文本转语音 | 好 |
本地语音转文本 | 好 |
屏幕阅读 | 好 |
点击屏幕上的文本或图标 | 好 |
移动到屏幕上的文本或图标 | 好 |
输入某些内容 | 好 |
按下任意键 | 好 |
滚动 | 好 |
麦克风 | 好 |
系统音频 | 好 |
内存 | 好 |
打开和关闭应用程序 | 好 |
打开一个URL | 好 |
剪贴板 | 好 |
搜索引擎 | 好 |
编写和运行Python代码 | 好 |
编写和运行Shell脚本 | 好 |
使用您的Telegram账户 | 好 |
知识管理 | 好 |
添加更多工具 | ? |
预定义代理
如果启用,您的助手将与以下团队协作:
团队名称 | 状态 |
---|---|
搜索互联网并报告团队 | 好 |
生成目标代码团队 | 好 |
添加自己的团队 | ? |